基于區(qū)塊鏈的視頻版權存儲架構①

付 楊,王景中,楊 洵,王寶成

(北方工業(yè)大學 信息學院,北京 100144)

無論是過去還是以網(wǎng)絡為導向的知識經(jīng)濟時代,知識產權作為一個企業(yè)乃至國家提高核心競爭力的戰(zhàn)略資源,都凸現(xiàn)出前所未有的重要地位.在互聯(lián)網(wǎng)時代,不僅僅是知識產權,原創(chuàng)作品等互聯(lián)網(wǎng)時代衍生品的保護也很重要,豐富的推廣渠道和不斷增長的用戶數(shù)量間接導致了信息的肆意傳播.

基于區(qū)塊鏈技術的數(shù)字版權管理依托于區(qū)塊鏈弱中心化的分布式架構等新理念為數(shù)字版權管理提供了有效途徑.由于區(qū)塊鏈自身特性,占用空間較大的數(shù)字版權完整上鏈更容易造成數(shù)據(jù)的冗余.

考慮到上鏈存儲的意義,本文提出了一種采用深度學習算法進行關鍵信息提取的思路.以視頻版權為大文件代表,以人物類視頻為主要存儲對象,本文采用OpenPose 算法對視頻中人物動作進行識別,簡單描述視頻中人物的行為,以對視頻內容進行合理的描述,之后以“視頻關鍵信息”的形式作為區(qū)塊鏈數(shù)據(jù)存儲以便達到溯源的目的.

1 算法介紹

本文以人物類視頻為核心,以OpenPose 算法為基礎,通過OpenPose 算法對視頻中的人體動作、面部表情、手指運動等姿態(tài)進行估計.以視頻作為輸入對象,以關鍵點數(shù)據(jù)作為輸出,整合存儲到區(qū)塊鏈中.

OpenPose 前導理論來自于文獻[1],該論文描述了主要針對單人識別的CPM 算法.在CPM的基礎上,文獻[2]提出了實時2D 多人姿態(tài)估計,該方法是OpenPose的主要理論基礎.同時為了提高算法性能,OpenPose 還基于文獻[3]等相關研究提供針對手指的221 個手部關鍵點識別,以及通過大量數(shù)據(jù)集訓練得到的70 個面部關鍵點識別.下文基于CVPR2017[2]對OpenPose 算法的主要工作原理進行介紹.

OpenPose 基于部分親和字段(Part Affinity Fields,PAFs),用于檢測多人圖像中的2D姿態(tài),PAFs 表示了學習圖像中身體關鍵部位點與人體的聯(lián)系,PAFs 對全局上下文進行編碼,自下而上解析,無需考慮人數(shù)多少,實現(xiàn)高精度和實時性能.具體原理大致如下:

步驟1.PAFs 采用自下而上(down-top)解析,記彩色圖像尺寸為w×h作為輸入.

步驟2.通過VGG19 網(wǎng)絡前10 層對圖片初始化并微調處理,生成一組特征映射F作為每個分支的第一階段的輸入(圖1(a)).

圖1 OpenPose 算法流程[2]

步驟3:采用雙分支多級CNN的體系結構同時得到兩組數(shù)據(jù)(圖2):預測一組身體部位位置的2D 置信圖(part confidence maps),記作St(圖1(b));編碼一組身體部分之間關聯(lián)程度(親和度)的2D 矢量場PAFs,記作Lt(圖1(c)).

(1)在第一階段,網(wǎng)絡產生一組檢測置信圖S1=ρ1(F)和一組部分親和力字段L1=?1(F),其中ρ1和?1作為第一個階段的CNN.

圖2 雙分支CNN:CNN_S和CNN_L 工作原理[2]

(2)同理,參考前兩個分支階段預測的結果和映射F可以用于產生新的精準預測.

步驟4.為了判斷網(wǎng)絡是否收斂,定義損失函數(shù)在空間上對損失函數(shù)進行加權,和分別代表兩個輸出圖像的誤差情況:

每個階段的中間監(jiān)督通過周期性的調整梯度來解決梯度消失,具體表示為:

為了得到損失函數(shù)fs,則需要知道真實置信圖S*和L*.

σ控制置信圖峰的范圍,經(jīng)分析得到,得到網(wǎng)絡要預測的真實的置信圖是獨立的置信圖通過取最大運算的聚合,即,一個部位置信計算符合高斯分布,則j個部位符合多峰高斯分布.因此在測試的時候,預測置信圖通過非最大值抑制得到身體部位的候選.

(2)以圖3為例,記xj1,k和xj2,k是圖像中某個人(記作k)的第c個真實身體部分j1和j2,假設某點p在該部位c上,則(p)是一個單位向量從j1指向j2,對于其他的點,則有該向量值為0,v是肢體方向上的單位向量.具體表示為:

(3)評估兩點相連的可能性時通過計算連接候選身份部分位置的線積分來測量檢測到候選身體部分的連接.即,為判斷兩個候選部分是否相連.

圖3 部分親和域計算[1]

dj1和dj2分 別是兩個部位的位置,p(u)是從dj1到dj2連線上的任意一點.假設向量dj1,dj2的方向與(p)的方向一致,則E的值就會很大,說明該位置是一個軀干的可能性就非常大.在實踐中,通過抽樣來估計積分求和的均勻間隔值.

步驟5.通過貪心推理解析置信度圖和親和度字段(圖1(d)),執(zhí)行一組二分匹配身體部位候選人的匹配,把兩者結合起來輸出每個人的2D 關鍵點(圖1(e)).

2 輸出結果選取

OpenPose 通過write_json 字段將識別到的身體部位數(shù)據(jù)寫成.json 文件.存儲數(shù)量根據(jù)需求包括[4]:基本15 個身體軀干關鍵點;包含眼睛的18 個基本關鍵點;帶有足部的25 個身體關鍵點;且以上關鍵點識別與人數(shù)無關.同時包括了雙手21 個手部關鍵點識別和70個面部關鍵點識別,以上兩類數(shù)據(jù)基于檢測人數(shù)而增加運算時間.

考慮到識別效率和實際應用需求,關鍵點識別一方面要保證存取信息的相對唯一性,一方面數(shù)據(jù)量不能過大,且對于區(qū)塊鏈存儲的這種需求,現(xiàn)階段無需精確到面部及手指等.因此,采用18 個基本關鍵點作為每個關鍵人物的關鍵信息.

以圖4為例,識別的18 個點從0～17 編號分別對應圖4(a):鼻子、頸部、左肩、左手肘、左腕部、右肩、右手肘、右腕部、左臀部、左膝、左腳、右臀部、右膝、右腳、左眼、右眼、左耳、右耳.圖4(b)為某視頻中截取的1 幀,算法識別最終得到的.json 文件為圖4(c),其中包含識別到的8 個人物關鍵點坐標如圖4(d).

圖4 OpenPose 姿勢輸出數(shù)據(jù)

3 數(shù)據(jù)存儲結構分析

區(qū)塊鏈系統(tǒng)具有分布式高冗余存儲、時序數(shù)據(jù)且不可篡改和偽造、去中心化信用、自動執(zhí)行的智能合約、安全和隱私保護等顯著的特點,這使得區(qū)塊鏈技術不僅可以成功應用于數(shù)字加密貨幣領域,同時在經(jīng)濟、金融和社會系統(tǒng)中也存在廣泛的應用場景[5].在數(shù)字版權管理方面,區(qū)塊鏈技術為數(shù)字版權管理工作提供了良好的存儲架構模型,使得數(shù)字資產存儲過程中具備了安全、可追溯、不可篡改的優(yōu)良特性[6].

3.1 版權管理流程分析

以計算機軟件著作權為例,傳統(tǒng)版權管理流程大致分為以下幾個部分:

(1)版權登記:填寫相關版權信息表,主要包括軟件基本信息、軟件特點、著作權人信息、申請人信息和相關材料說明.

(2)受理預約:填報登記表后,辦理軟件受理業(yè)務,選擇相應的時間和地點.

(3)現(xiàn)場提交材料:提交辦理版權的相關紙質材料.

(4)著作權獲得:若辦理過程順利,則等待最終辦理結果(著作權證明);若辦理過程中出現(xiàn)問題,則執(zhí)行(5).

(5)受理補正:拒絕該申請,可選擇重新申請或選擇軟件受理補正,直到辦理成功.

同時,已辦理完畢受理業(yè)務的作品可以進行作品轉讓和信息的變更.具體流程均與(1)～(4)類似.

3.2 狀態(tài)模型

根據(jù)現(xiàn)有版權管理流程,數(shù)字產品版權登記應包括以下幾種狀態(tài):版權材料網(wǎng)上提交階段,版權材料審核階段,版權登記成功/失敗.圍繞這幾種狀態(tài),針對提交的版權具備如下幾種狀態(tài)模型:

狀態(tài)模型:版權的狀態(tài)調整,包括版權提交、待確認、登記成功和登記失敗4 種狀態(tài),如表1所示.

表1 狀態(tài)模型

版權登記整體過程如下:

NewPublish:版權持有人發(fā)布版權之后為NewPublish新發(fā)布狀態(tài);

EndrWaitSign:權利人提交數(shù)字版權,并進行版權受理,版權狀態(tài)轉移為EndrWaitSign 待驗簽狀態(tài);

EndrSigned:相關機構驗證數(shù)字版權,驗收成功,版權狀態(tài)轉移為EndrSigned 數(shù)字版權簽收成功狀態(tài);

EndrReject:反之,則為EndrReject 數(shù)字版權簽收失敗狀態(tài).

3.3 版權相關數(shù)據(jù)

(1)數(shù)字版權基本信息(表2)

表2 數(shù)字版權基本信息數(shù)據(jù)表

針對數(shù)字版權基本狀態(tài)應包含以下信息,表中記錄鏈上對應字段:

作品編號:該筆數(shù)字版權對應的編號;

作品名稱:版權上傳時的版權名稱;

作品類型:用戶填寫的版權類型,如個人專利等;

上傳時間:版權上傳成功后系統(tǒng)得到的時間;

作品哈希:版權摘要MD5;

關鍵信息:深度學習提取得到的關鍵信息集合,即采用深度學習提取的人物類視頻中人物的18 個基本關鍵點作為關鍵信息.

(2)數(shù)字版權受理基本信息(表3)

表3 受理登記基本信息數(shù)據(jù)表

版權登記編號:作品進行版權登記時的流水編號;

版權登記日期:填寫成功后記錄的日期;

版權截止日期:履行版權登記義務的截止時間;

版權辦理費用:版權在登記過程中產生的手續(xù)費;

背書歷史:用戶在系統(tǒng)中的全部操作均被記錄在背書歷史中;

記錄類型:記錄在不同的檢索界面根據(jù)不同的記錄類型顯示相應的檢索結果.

3.4 視頻存儲

數(shù)據(jù)庫存儲視頻文件通常采用兩種方法,(1)是將視頻版權存入服務器,之后存儲對應文件路徑在數(shù)據(jù)庫中;(2)是直接以二進制流的方式將視頻文件寫入數(shù)據(jù)庫字段.存儲文件路徑的方式系統(tǒng)開銷低,數(shù)據(jù)庫負擔小,但當文件數(shù)量逐漸增大的時候,文件處理效率就會呈指數(shù)級別的降低.另外存儲文件路徑的方式不能保證視頻文件的安全,視頻內容極容易被更改.相對的,采用二進制流的方式可以將文件完整的保存在數(shù)據(jù)庫中,但數(shù)據(jù)庫的頻繁讀取會影響性能.

傳統(tǒng)版權管理系統(tǒng)中,以有序生成的版權編號作為主鍵,將版權數(shù)據(jù)轉為二進制流,存入版權數(shù)據(jù)庫.當發(fā)生版權爭執(zhí)時,需要通過人工比對的方式完成確權操作.

為了解決以上問題,在區(qū)塊鏈中,文件上傳至服務器后,會得到文件存儲地址指針,系統(tǒng)保存視頻的Hash 值、索引值和文件指針,通過這樣的方式既能把視頻相對快速完整的存儲到區(qū)塊中又能盡可能的節(jié)約系統(tǒng)資源.為了提高系統(tǒng)的可用性,本架構采用深度學習算法進行關鍵幀的提取,以視頻文件的關鍵幀作為視頻確權的輔助依據(jù),假設發(fā)生確權問題時,可以通過關鍵幀較快獲得文件信息而不必去對比原文件內容,在整個版權流程中,關鍵幀提取的性能損耗和物理資源消耗可以忽略不計.

在本系統(tǒng)中,以圖5為例,視頻作品上傳后通過OpenPose 算法得到矩陣信息,矩陣信息以.json 格式文件分別存儲,這些數(shù)據(jù)會作為相關版權事務存儲在版權關鍵數(shù)據(jù)文件中.假設某一視頻得到“0001_keypoint”～“0004_keypoint” 4 個矩陣信息文件.

首先對信息文件進行Hash 值提取,Hash 值由特定的散列函數(shù)生成,這里采用的是SHA256 算法.散列函數(shù)是單向陷門函數(shù),無法通過逆推得到原有數(shù)據(jù),且計算效率高.在同一散列函數(shù)中,如果2 個Hash 值是不相同的,那么他們的原始數(shù)據(jù)也是不同的(在定義這里,不考慮哈希碰撞),這個特性是散列函數(shù)具有確定性的結果,我們可以粗略地認為Hash 值在這里變成了以固定長度輸出的不同大小信息的唯一標識符,而且標識符與每個源文件屬于天然的一一對應關系,而且當源數(shù)據(jù)被篡改微小的部分,散列函數(shù)也會產生巨大的變化.因此可以將事務的Hash 值作為其唯一標識存儲在區(qū)塊鏈中.

圖5 Merkle 根生成

在背書驗證流程中,將這些事務以Merkle tree的形式計算出Hash 值,從而層層向上,最終得到Merkle根填寫在區(qū)塊中.

本區(qū)塊鏈架構并發(fā)執(zhí)行版權數(shù)據(jù)上鏈、版權數(shù)據(jù)存儲、版權關鍵數(shù)據(jù)存儲操作:

版權數(shù)據(jù)上鏈:以版權編號作為主鍵,哈希值作為唯一標識,存入版權鏈;

版權關鍵數(shù)據(jù)存儲:以版權編號作為主鍵,提權視頻版權數(shù)據(jù)關鍵幀,存儲到版權關鍵信息數(shù)據(jù)庫,也就是區(qū)塊鏈的CouchDB 中;

版權數(shù)據(jù)存儲:以版權編號作為主鍵,將版權數(shù)據(jù)存入服務器中.

其中版權數(shù)據(jù)存儲作為版權備份操作,不參與版權確權流程;版權關鍵數(shù)據(jù)存儲作為輔助確權模塊,發(fā)生哈希碰撞時,由視頻版權關鍵幀數(shù)據(jù)判定版權狀態(tài).本架構將上鏈存儲版權作品本身變成存儲版權關鍵幀,因此,區(qū)塊中存儲的內容從“多個視頻哈希值”變成了“視頻的多個關鍵幀哈希值”.提取視頻關鍵幀信息并將關鍵幀信息Hash 值存儲在區(qū)塊中,通過調整關鍵幀的幀數(shù)和關鍵幀的選定數(shù)據(jù)理論上可以降低哈希碰撞的發(fā)生概率.

4 架構模型

區(qū)塊鏈框架采用Hyperledger Fabric 1.0 應用開發(fā)模型實現(xiàn).將項目分層設計,結合傳統(tǒng)版權管理業(yè)務,基于區(qū)塊鏈的版權管理分層架構如圖6所示,分為:頁面訪問層、業(yè)務邏輯層、共識與合約、數(shù)據(jù)訪問層.頁面訪問層(UI)基于B/S 架構,為用戶提供版權登記、查看等操作的界面,保證用戶體驗.

業(yè)務邏輯層(BLL)對用戶發(fā)起事務進行邏輯判斷與執(zhí)行操作,這里需要注意的是,區(qū)塊鏈具有不可篡改的特性,這也是本文采用區(qū)塊鏈架構的主要原因之一,因此,區(qū)塊鏈CouchDB 不進行修改只進行寫入和區(qū)塊關聯(lián).當某一版權發(fā)生數(shù)據(jù)變化時,系統(tǒng)生成新的區(qū)塊并關聯(lián)相關版權對應模塊.

圖6 區(qū)塊鏈版權管理分層架構

在共識與合約層面上,采用Fabric 作為基礎區(qū)塊鏈框架.Hyperledger Fabric[7]采用實用拜占庭容錯算法(Practical Byzantine Fault Tolerance,PBFT)[8],作為共識機制,PBFT 算法要求節(jié)點總數(shù)大于3f個(f為拜占庭節(jié)點).智能合約通過鏈碼實現(xiàn),包括版權的登記鏈碼調用功能.圖7為版權登記時背書的驗證流程.

圖7 背書驗證流程

對于該架構,數(shù)據(jù)訪問層(DAL)為數(shù)據(jù)庫的主要操控系統(tǒng),實現(xiàn)數(shù)據(jù)的增加、刪除、修改、查詢等操作,并將操作結果反饋到業(yè)務邏輯層BLL.

具體的版權登記使背書的驗證流程如下:

步驟1.用戶通過客戶端client 上傳視頻作品,記作v.

步驟2.通過深度學習算法提取數(shù)據(jù),生成單幀列表List,根據(jù)List 建立新區(qū)塊NewBlock,并向全網(wǎng)廣播.圖片和關鍵點矩陣信息的.json 文件,記矩陣信息為k.提取過程中,上傳人信息和版權作品信息(視頻v和矩陣信息k)存儲到服務器上.

步驟3.client 發(fā)起登記申請,記該申請為p,將p發(fā)送給節(jié)點A.

步驟4.節(jié)點A負責收集登記申請,并建立區(qū)塊,之后全網(wǎng)廣播,要求全網(wǎng)節(jié)點進行登記驗證.當節(jié)點A收到client的申請p后,將p加入未確認的登記.

步驟5.節(jié)點B、節(jié)點C、節(jié)點D收到NewBlock后,進行登記預處理:3 個節(jié)點分別計算hash(NewBlock),并向全網(wǎng)廣播hash(NewBlock).

步驟6.節(jié)點A、節(jié)點B、節(jié)點C、節(jié)點D分別接收到hash(NewBlock),并進行校驗,以節(jié)點B為例,假設節(jié)點B登記預處理階段生成的hash(NewBlock)B與收到的來自節(jié)點C的hash(NewBlock)C一致,則認為登記確認成功;若不一致,則認為登記確認失敗.

步驟7.各個節(jié)點完成登記確認后,向其他節(jié)點廣播登記確認結果;根據(jù)PBFT 算法的規(guī)則,每個正常工作節(jié)點應受到超過2f條登記確認消息,且該驗證總數(shù)不少于2f.各節(jié)點收到其他節(jié)點登記確認后,存儲版權登記,記為數(shù)字證書CA.

步驟8.反饋CA 給客戶端,至此完成一次背書過程.

5 架構評估

區(qū)塊鏈的本質是一種非關系型的數(shù)據(jù)庫,本文的主要工作是優(yōu)化架構和數(shù)據(jù)存儲結構.本文在給出了通用區(qū)塊鏈數(shù)字版權存儲架構的前提下,提出采用深度學習技術輔助區(qū)塊鏈的鏈上數(shù)據(jù)存儲,以人物類視頻資源為例,提供了一種提取人物行為特征的思路,針對存儲數(shù)據(jù)合理選取并加以利用存儲到區(qū)塊鏈中.

人物特征提取方面,OpenPose 算法在處理結果和性能方面有較顯著的結果.關鍵幀圖像及關鍵信息矩陣總大小遠遠小于原視頻文件.以上文選取的視頻為例,大小為134 MB的視頻,最終得到800 余幀關鍵信息,總大小約為1.48 MB.從分布式存儲的角度上分析,關鍵信息提取更好的提高了系統(tǒng)的可用性.

分別比較傳統(tǒng)版權管理架構和本文采用的區(qū)塊鏈版權管理架構兩種版權存儲流程,選取大小為1 MB、16 MB、64 MB、256 MB、512 MB的視頻版權數(shù)據(jù),重復100 次版權存儲操作,計算版權存儲的時間開銷(表4)與內存開銷(表5).

表4 時間開銷

表5 內存開銷

由此看出,采用傳統(tǒng)架構在系統(tǒng)兩方面開銷上越來越大,而區(qū)塊鏈版權管理在系統(tǒng)開銷方面相對穩(wěn)定.

采用對照分析法[9]評估本文提出的視頻版權存儲架構模型.一方面,針對版權管理面臨的普遍問題給出架構的應對方法,對架構應對方法進行分析(表6).另一方面,與現(xiàn)有版權管理方法進行對比,分析架構的優(yōu)缺點(表7).

表6 當前面臨問題及架構應對方法分析

區(qū)塊頭數(shù)據(jù)本身可以采用關系型數(shù)據(jù)庫模擬其本身,因此,僅僅在區(qū)塊體中存儲作品Hash 值的方式完全可以避免采用區(qū)塊鏈冗余的數(shù)據(jù)結構,利用關系型數(shù)據(jù)庫存儲每個作品的Hash 值,再進行區(qū)塊頭打包似乎可以替代區(qū)塊鏈在版權管理中的位置.

但實際上,一方面,區(qū)塊鏈的第一個應用案例比特幣[10]是將交易數(shù)據(jù)存儲在交易文件中再生成對應的Hash 值進行鏈上存儲.而在實際的區(qū)塊鏈開發(fā)中,不能將視頻版權完全存儲在區(qū)塊鏈中,這既不利于系統(tǒng)本身應用范圍的擴大,也不利于區(qū)塊鏈開發(fā)的發(fā)展[11].另一方面,區(qū)塊鏈中采用的共識機制等使得版權管理流程更加規(guī)范化,利于數(shù)字版權良性發(fā)展.本架構優(yōu)勢如下:

(1)區(qū)塊鏈弱化了中心化管理的概念,使得鏈上數(shù)據(jù)公開、透明,利于多平臺、多單位共同管理.

(2)區(qū)塊鏈的鏈式結構使得鏈上數(shù)據(jù)難以篡改,可以較好地保證數(shù)據(jù)安全性.

(3)區(qū)塊鏈結構具有良好的可追溯性,當發(fā)生權利問題時,只要在鏈上有所記錄均可以追蹤查看,方便相關部門進行確權.

本架構在區(qū)塊鏈版權管理的基礎 上,引入了深度學習技術進行版權關鍵信息的提取,這樣可以降低區(qū)塊鏈數(shù)據(jù)冗余度,提高系統(tǒng)可用性.采用PBFT 作為共識機制提高了區(qū)塊鏈共識效率,整體增強了區(qū)塊鏈系架構在數(shù)字版權管理中的實用性.但架構僅針對人物類視頻版權,按照架構思路,可以針對其他類型視頻版權采用“物體識別”、“情感分析”等深度學習算法來進行關鍵信息提取,并結合提取得到的關鍵信息分組提出適用于區(qū)塊鏈架構的數(shù)據(jù)存儲模型.

6 結論與展望

隨著區(qū)塊鏈技術的逐漸發(fā)展,這一技術從概念上應用也在逐步向實際應用靠近,它的研究會漸漸成為熱點研究課題.區(qū)塊鏈在保障可信機制的同時也為系統(tǒng)帶來了極大的負擔,采用深度學習技術可以較好的幫助計算機解釋數(shù)字資產,減少系統(tǒng)負擔,大大拓寬了區(qū)塊鏈技術的應用場景.本文以人物類別的視頻為例,提出了基于深度學習的區(qū)塊鏈視頻版權存儲架構,由于作者學習能力有限,論文中針對的版權類別不夠豐富,希望本架構可以對未來的研究提供相對有益的啟發(fā),依靠深度學習進一步推動區(qū)塊鏈在實際領域中的發(fā)展.