De-aging技術(shù)相關(guān)專利分析

李 敏

（國家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作北京中心，北京 100160）

0 引 言

2023年春節(jié)檔開年大戲《流浪地球2》一經(jīng)上映即迅速獲得觀眾的熱烈反響。其以驚險(xiǎn)刺激的故事情節(jié)和精彩絕倫的視覺效果吸引了眾多觀眾的眼球，成為當(dāng)季最受歡迎的電影之一。《流浪地球2》的成功與其驚人的視覺效果密不可分。電影中令觀眾驚嘆的是演員吳京飾演的角色只有21歲，而吳京的臉在電影中看起來非常年輕，與真實(shí)世界中超過45歲的他在公眾面前所展現(xiàn)的形象完全不同。這樣的視覺效果是由De-aging技術(shù)（即數(shù)字減齡、逆齡、去老化）技術(shù)實(shí)現(xiàn)的。

1 De-aging技術(shù)概述

De-aging技術(shù)，即數(shù)字減齡、逆齡、去老化技術(shù)，是指通過數(shù)字編輯（Digitally editing）或計(jì)算機(jī)繪圖（Computer Graphics，CG）技術(shù)將一個(gè)人的外貌年齡變得更年輕，最初是一種用于電視和電影特效的技術(shù)[1]。在電視或電影制作過程中，如果故事情節(jié)發(fā)生在一段大跨度的時(shí)間內(nèi)，需要在銀幕上呈現(xiàn)演員在不同年齡之間面容的變化時(shí)，通過特效化妝、使用替身演員或年輕演員來出演等方法曾經(jīng)是許多創(chuàng)作者的選擇，但效果不盡如人意。隨著計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺技術(shù)的發(fā)展，這些技術(shù)越來越多地被應(yīng)用于電視、電影技術(shù)中。其中，可對電視和電影創(chuàng)作中拍攝的視頻幀中的人臉進(jìn)行自動(dòng)處理，從而使演員在屏幕中變得年輕的De-aging（即數(shù)字人臉逆齡）技術(shù)開始成為電視、電影創(chuàng)作的一種新選擇[2]。該技術(shù)的發(fā)展，使得越來越多真實(shí)而生動(dòng)的逆齡角色出現(xiàn)在觀眾視野中。近年來，該技術(shù)也被廣泛應(yīng)用于其他領(lǐng)域，如視頻游戲、虛擬現(xiàn)實(shí)、短視頻創(chuàng)作和直播、人臉圖像美化、人臉年齡模擬及識(shí)別、美容/整容/化妝品使用效果預(yù)測以及走失兒童人臉匹配等[3]。

2 De-aging技術(shù)專利分析

隨著De-aging技術(shù)的發(fā)展和應(yīng)用，越來越多的公司、科研團(tuán)體或個(gè)人針對該技術(shù)在全世界各專利組織申請專利。本文結(jié)合實(shí)際專利審查工作，采用專利檢索數(shù)據(jù)庫CNABS、CNTXT、VEN、DWPI、Himmpat等進(jìn)行數(shù)據(jù)檢索，采用數(shù)據(jù)清洗、篩選等手段，對De-aging技術(shù)相關(guān)專利進(jìn)行分析。本文所分析的De-aging技術(shù)相關(guān)專利申請文獻(xiàn)的公開日截至2023年6月27日，僅涉及面部的去老化（De-aging）技術(shù)，并不包括其逆變換——面部老化（Aging）技術(shù)。因De-aging技術(shù)僅屬于圖形/圖像處理技術(shù)的一個(gè)較小分支，因此，與其相關(guān)的專利申請數(shù)量較少。現(xiàn)就De-aging技術(shù)相關(guān)專利分析結(jié)果進(jìn)行說明。

2.1 專利申請趨勢

De-aging技術(shù)相關(guān)專利在全球的申請趨勢如圖1所示。由圖1可見，與De-aging技術(shù)相關(guān)的專利申請最早從1979年開始出現(xiàn)。1979—2004年，全球與De-aging技術(shù)相關(guān)的專利申請量一直較少，每年申請量不超過10件，但在2005年和2008年分別達(dá)到一個(gè)小高峰。這兩年，美國伊斯曼柯達(dá)公司和保潔公司在各國提出了一系列與De-aging相關(guān)的專利申請，導(dǎo)致專利申請量的增加。2009—2017年，該領(lǐng)域的專利申請量一直保持低位但持續(xù)增長的態(tài)勢。直到2018年，隨著電視/電影特效、虛擬現(xiàn)實(shí)技術(shù)以及短視頻特效技術(shù)的快速發(fā)展[4]，Deaging領(lǐng)域的專利申請量迎來大幅增加，并在2020年達(dá)到頂峰。2021年，De-aging技術(shù)相關(guān)的專利申請量相較2020年有輕微減少。2022—2023年，該領(lǐng)域的專利申請量因可能涉及尚未被公開的專利申請無法被統(tǒng)計(jì)而有所降低。

圖1 De-aging技術(shù)相關(guān)專利全球申請趨勢

2.2 專利申請地域分布

De-aging技術(shù)相關(guān)專利申請的地域分布如圖2所示。由圖2可見，在De-aging技術(shù)相關(guān)專利申請國方面，中國的專利申請量遙遙領(lǐng)先，其次是美國。中美兩國De-aging技術(shù)相關(guān)專利申請量超過全球申請量的60%，位于該領(lǐng)域?qū)＠暾埖牡谝惶蓐?duì)。處于第二梯隊(duì)的是日本、世界知識(shí)產(chǎn)權(quán)組織和歐洲，相關(guān)專利申請量相對于中、美兩國大幅減少，但它們的申請量幾乎占據(jù)全球申請量的1/4。處于第三梯隊(duì)的是加拿大、韓國、德國等，關(guān)于De-aging技術(shù)的專利申請量占比較少。中國專利申請量的領(lǐng)先地位與近幾年電視/電影特效、短視頻/直播創(chuàng)作、虛擬現(xiàn)實(shí)行業(yè)在中國的異軍突起和井噴式繁榮有關(guān)。

圖2 De-aging相關(guān)專利申請的地域分布

2.3 專利申請人國別分布

De-aging相關(guān)專利申請的申請人國別與專利申請國的數(shù)據(jù)有所區(qū)別。De-aging技術(shù)相關(guān)專利申請人所屬國別分布如圖3所示。由圖3可見，中國申請人在De-aging技術(shù)相關(guān)專利的申請數(shù)量上雖仍居首位，但美國作為電影特效和科技大國，其申請人在De-aging技術(shù)相關(guān)專利的申請量上已與中國相差無幾，同屬于第一梯隊(duì)。其次是動(dòng)漫產(chǎn)業(yè)、照相和圖像處理技術(shù)發(fā)達(dá)的日本以及整容產(chǎn)業(yè)發(fā)達(dá)的韓國，他們關(guān)于De-aging技術(shù)相關(guān)專利的申請量位居第二梯隊(duì)。再次是德國、加拿大和瑞士等國，有零星申請人就相關(guān)專利進(jìn)行申請。

圖3 De-aging相關(guān)專利申請的申請人國別分布

2.4 主要申請人

De-aging領(lǐng)域?qū)＠暾埩颗琶?0的全球?qū)＠暾埲巳鐖D4所示。由圖4可見，在De-aging領(lǐng)域?qū)＠暾埩颗琶谝坏氖菍殱嵐尽３龑殱嵐就猓雵?0名的美國申請人還有伊斯曼柯達(dá)公司等其他8位申請人。美國申請人的排名相對比較靠前，其專利申請量獨(dú)占鰲頭，體現(xiàn)了美國在Deaging技術(shù)上所占的絕對優(yōu)勢。而中國申請人中，僅有北京市商湯科技開發(fā)有限公司的申請量躋身專利申請人申請量前10名，位列第4。其他位列排行榜前20名的中國申請人一共有5位，分別是北京達(dá)佳互聯(lián)信息技術(shù)有限公司、騰訊科技（深圳）有限公司、百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司及其分公司、廈門美圖之家科技有限公司以及中國科學(xué)院各研究所，但它們的排名均相對靠后，且與美國相比，在專利申請數(shù)量上也存在較大差距。日本和韓國的申請人入圍全球申請量排名前20名的數(shù)量較少，但他們的排名較靠前，比較有代表性的日本申請人是卡西歐計(jì)算機(jī)公司，有代表性的韓國申請人是韓國科學(xué)技術(shù)研究院。

圖4 De-aging相關(guān)專利全球主要專利申請人

2.5 專利申請人成分構(gòu)成

De-aging領(lǐng)域?qū)＠暾埲说某煞謽?gòu)成如圖5所示。由圖5可見，De-aging技術(shù)相關(guān)的專利申請人類型中，公司和企業(yè)類申請人占據(jù)全部申請人數(shù)量的近3/4，大專院校和科研機(jī)構(gòu)類申請人的數(shù)量占1/4，個(gè)人申請人數(shù)量相對較少。由此可見，De-aging技術(shù)專利申請仍是以市場驅(qū)動(dòng)為主，企業(yè)和公司基于市場需求成為相關(guān)技術(shù)領(lǐng)域的主要專利申請人。同時(shí)，在De-aging技術(shù)領(lǐng)域，因涉及圖形、圖像處理、機(jī)器學(xué)習(xí)模型等技術(shù)分支，故大學(xué)和科研院所在該領(lǐng)域的技術(shù)發(fā)展和進(jìn)步中也發(fā)揮了較大作用[5]。

圖5 De-aging相關(guān)專利申請人成分構(gòu)成

3 重點(diǎn)專利梳理

早期的De-aging技術(shù)主要依靠傳統(tǒng)的數(shù)字合成技術(shù)（即圖形/圖像處理技術(shù)）進(jìn)行人臉年輕化變換。近年來，隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等技術(shù)的發(fā)展，De-aging技術(shù)開始大規(guī)模使用和訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型進(jìn)行人臉年輕化處理。神經(jīng)網(wǎng)絡(luò)模型的使用，使得可以通過大量樣本的訓(xùn)練和模型的迭代，來構(gòu)建能夠更準(zhǔn)確地反映人臉特征和年齡變化的模型，從而生成更逼真的De-aging技術(shù)效果。以下從數(shù)字合成技術(shù)和神經(jīng)網(wǎng)絡(luò)模型技術(shù)兩個(gè)方向?qū)σ恍┲匾暾埲说牡湫虳e-aging專利申請進(jìn)行簡單梳理。

3.1 基于數(shù)字合成技術(shù)的相關(guān)專利

數(shù)字合成技術(shù)，是指通過計(jì)算機(jī)圖形/圖像學(xué)的原理和方法，將多種源素材有機(jī)混合成單一復(fù)合圖像，再輸出到磁帶或膠片上，最終完成作品呈現(xiàn)在觀眾面前的一種技術(shù)。采用數(shù)字合成技術(shù)進(jìn)行人臉De-aging變換的專利申請，一般申請日期較早，且主要采用傳統(tǒng)的圖形/圖像學(xué)原理和方法進(jìn)行人臉去老化變換或處理。以下列舉幾位典型申請人基于數(shù)字合成技術(shù)的De-aging相關(guān)專利申請。

3.1.1 NANCY B等的申請

全球第一件與De-aging技術(shù)相關(guān)的專利申請是1979年5月8日美國NANCY B等人在美國提出的，其專利申請?zhí)枮閁S4276570A，發(fā)明名稱為“用于產(chǎn)生不同年齡的人的面部的圖像的方法和裝置”。該專利申請的核心技術(shù)方案是：為了模擬人面部上不同年齡的外觀，記錄舊面部和對應(yīng)的年輕面部的圖片，找到并記錄舊面部與年輕面部之間的差異；然后記錄要在不同年齡模擬的人的面部的圖片，通過從舊面部減去差異以形成年輕面部，來使較老的面部看起來更年輕，并顯示修改后得到的圖像。該專利申請?jiān)?981年6月30日被美國專利局授權(quán)。作為最早的De-aging技術(shù)相關(guān)專利申請，其后續(xù)被各國專利引證202次。

3.1.2 保潔公司的申請

作為全球申請量排名第一的申請人，寶潔公司于2007—2018年在世界各專利組織提出了一系列與De-aging技術(shù)相關(guān)的專利申請。該公司申請的專利主要通過計(jì)算機(jī)模擬面部的去老化效果，為化妝品、美容產(chǎn)品、皮膚病治療等提供去老化預(yù)期效果展示。其中，申請較早且比較有代表性的專利申請公開號(hào)為WO2008109322A1。其核心技術(shù)方案是：利用標(biāo)準(zhǔn)圖像的L、A、B通道，在LAB顏色空間中執(zhí)行斑點(diǎn)/皺紋/紋理去老化模擬，在這些通道中識(shí)別人臉皮膚上的斑點(diǎn)/皺紋/紋理等老化特征，再將識(shí)別到的上述老化的皮膚特征進(jìn)行去除，即可實(shí)現(xiàn)人臉圖像的斑點(diǎn)/皺紋/紋理去老化模擬。該專利申請后續(xù)被各國專利引證174次。

3.1.3 西安交通大學(xué)的申請

在眾多中國申請人中，大學(xué)和研究機(jī)構(gòu)作為圖形、圖像處理技術(shù)的研發(fā)先驅(qū)，成為De-aging相關(guān)技術(shù)專利申請的重要主體。由他們所提出的專利申請中，比較典型的一件是由西安交通大學(xué)于2006年12月29日提出的公開號(hào)為CN1870047A，發(fā)明名稱為“一種基于平均臉和衰老比例圖的人臉圖像年齡變換方法”的專利申請。其核心技術(shù)方案是：以平均臉作為參考臉，采用稠密特征表達(dá)，將人臉圖像分解為形狀矢量和紋理矢量，借助人臉漫畫合成技術(shù)，通過計(jì)算特定人臉圖像與平均臉之間的差異，進(jìn)而減少這種差異程度，來完成特定人臉的年輕變換。該專利申請被中國、美國等專利局引證次數(shù)為15次。

3.2 基于神經(jīng)網(wǎng)絡(luò)的De-aging相關(guān)專利

神經(jīng)網(wǎng)絡(luò)又稱人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）或模擬神經(jīng)網(wǎng)絡(luò)（Spiking Neural Network，SNN），是機(jī)器學(xué)習(xí)的子集，也是深度學(xué)習(xí)算法的核心。神經(jīng)網(wǎng)絡(luò)依靠數(shù)據(jù)訓(xùn)練來學(xué)習(xí)，并隨時(shí)間推移提高自身準(zhǔn)確性，通過不斷的數(shù)據(jù)訓(xùn)練和自我迭代，得到更準(zhǔn)確的模型，從而能夠快速對數(shù)據(jù)進(jìn)行分類、聚類、模擬和合成。應(yīng)用神經(jīng)網(wǎng)絡(luò)技術(shù)的De-aging專利申請，主要通過構(gòu)建不同層級(jí)/訓(xùn)練數(shù)據(jù)/迭代條件/訓(xùn)練方法相關(guān)的神經(jīng)網(wǎng)絡(luò)模型來實(shí)現(xiàn)人臉的De-aging變換。下面列舉幾位典型申請人基于神經(jīng)網(wǎng)絡(luò)技術(shù)的De-aging相關(guān)專利申請。

3.2.1 迪士尼企業(yè)公司的申請

作為動(dòng)畫電影大廠的迪士尼企業(yè)公司在各國申請了多件基于神經(jīng)網(wǎng)絡(luò)技術(shù)的De-aging專利。其中一件與De-aging技術(shù)相關(guān)的專利申請的公開號(hào)為US202380639A1，發(fā)明名稱為“在圖像和視頻幀中重構(gòu)人臉年齡的技術(shù)”，申請日為2021年9月13日。其核心方案是：將面部圖像、輸入年齡和目標(biāo)年齡輸入到年齡重構(gòu)模型中來執(zhí)行2D或3D人臉的年齡重構(gòu)；然后將年齡重構(gòu)增量圖像與輸入圖像組合，以生成面部的年齡重構(gòu)圖像；年齡重構(gòu)模型可以包括U-Net神經(jīng)網(wǎng)絡(luò)模型或其變體。

3.2.2 北京市商湯科技開發(fā)有限公司的申請

作為De-aging相關(guān)專利全球申請量排名第4的中國申請人，北京市商湯科技開發(fā)有限公司在各國、各知識(shí)產(chǎn)權(quán)組織也提出了一系列專利申請。其中，其于2019年8月28日在中國申請的專利公開號(hào)為CN111754415A，發(fā)明名稱為“人臉圖像處理方法及裝置、圖像設(shè)備及存儲(chǔ)介質(zhì)”，其核心技術(shù)方案是：在進(jìn)行人臉年輕化的過程中，獲取第一人臉圖像的第一關(guān)鍵點(diǎn)信息，對其進(jìn)行位置變換得到符合第二人臉幾何屬性（即更年輕化人臉的幾何屬性）的第二關(guān)鍵點(diǎn)信息；利用神經(jīng)網(wǎng)絡(luò)和第二關(guān)鍵點(diǎn)信息，進(jìn)行人臉紋理編碼，使得紋理屬性編碼與幾何屬性變換處理分離，從而得到變換后更年輕的人臉圖像。

3.2.3 北京字跳網(wǎng)絡(luò)技術(shù)有限公司的申請

作為全球短視頻、直播行業(yè)的龍頭企業(yè)，抖音旗下的北京字跳網(wǎng)絡(luò)技術(shù)有限公司于2022年1月30日在中國申請了一項(xiàng)應(yīng)用于人臉的De-aging特效技術(shù)相關(guān)專利申請，其公開號(hào)為CN114445302A，發(fā)明名稱為“圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)”。其核心方案是：獲取包括面部區(qū)域且皮膚狀態(tài)處于第一皮膚年齡的待處理圖像，將所述待處理圖像輸入至預(yù)先訓(xùn)練得到的目標(biāo)皮膚圖像處理模型中，得到與所述待處理圖像對應(yīng)的面部區(qū)域的皮膚狀態(tài)小于所述第一皮膚年齡目標(biāo)效果圖像，所述目標(biāo)皮膚圖像處理模型根據(jù)樣本原始圖像以及與所述樣本原始圖像對應(yīng)的樣本效果圖像對初始皮膚圖像處理模型訓(xùn)練得到。

4 技術(shù)發(fā)展方向及展望

2022年底，ChatGPT網(wǎng)絡(luò)大模型技術(shù)橫空出世，其必然給人臉圖像自動(dòng)生成（AI變臉）技術(shù)及其分支De-aging技術(shù)帶來變革，但由于專利申請公開的滯后性，目前還沒有檢索到使用ChatGPT相關(guān)的AI網(wǎng)絡(luò)大模型技術(shù)進(jìn)行人臉年輕化/逆齡化變換的專利申請。相信后續(xù)基于AI網(wǎng)絡(luò)大模型相關(guān)技術(shù)的De-aging相關(guān)專利申請會(huì)成為該領(lǐng)域?qū)＠暾埖闹髁骷夹g(shù)。而在ChatGPT技術(shù)井噴式發(fā)展以及各國技術(shù)競爭激烈、技術(shù)壁壘較高的背景之下，中國的專利發(fā)明主體應(yīng)加快對基于AI“大模型”的De-aging相關(guān)技術(shù)研發(fā)的步伐，提高專利申請量和專利申請質(zhì)量，優(yōu)化專利申請布局，努力追趕，做知識(shí)產(chǎn)權(quán)領(lǐng)域的追夢人。

5 結(jié) 語

從專利申請趨勢來看，De-aging技術(shù)目前依然在快速發(fā)展中，尤其是2018年以來，De-aging技術(shù)相關(guān)的專利申請迎來了申請量的大幅增加。在De-aging相關(guān)專利布局方面，中國超越美國成為各類專利發(fā)明主體最熱衷的專利申請國。但就申請人國別和各國申請人的專利申請量排名來看，美國申請人與中國申請人在數(shù)量上不相上下，且美國申請人的專利申請量排名比中國申請人靠前，體現(xiàn)了美國發(fā)明主體在該領(lǐng)域的領(lǐng)先地位。比較有代表性的De-aging相關(guān)專利的美國發(fā)明主體有寶潔公司、伊斯曼柯達(dá)公司等，而中國比較突出的企業(yè)申請人是北京商湯科技開發(fā)有限公司。在發(fā)明主體成分構(gòu)成方面，公司和企業(yè)是De-aging相關(guān)專利申請的主要申請人，證明了該領(lǐng)域主要為市場導(dǎo)向的特性。就技術(shù)發(fā)展方向而言，AI大模型技術(shù)可能會(huì)成為后續(xù)專利申請的主流技術(shù)。