一種基于深度學(xué)習(xí)的PDM文檔自動審核算法

寧凌

（中國電子科技集團(tuán)公司第五十四研究所，河北石家莊050081）

0 引言

PDM是一種幫助工程師管理產(chǎn)品數(shù)據(jù)和產(chǎn)品研發(fā)過程的工具，作用是確保跟蹤設(shè)計、制造所需的大量數(shù)據(jù)和信息的正確性，并由此支持和維護(hù)產(chǎn)品。針對不同階段的工程設(shè)計需求，設(shè)計人員需按照標(biāo)準(zhǔn)模板輸出文檔并上傳至PDM系統(tǒng)[1]，通過相關(guān)管理人員的審核之后進(jìn)行發(fā)布，作為產(chǎn)品設(shè)計及研發(fā)的依據(jù)。在操作過程中，技術(shù)文檔和設(shè)計文檔需要相關(guān)管理人員進(jìn)行審核，大量的審核工作給審核人員帶來了巨大的工作壓力，降低了審核效率與準(zhǔn)確率。隨著人工智能技術(shù)的發(fā)展，可以利用深度學(xué)習(xí)[1]的方法，將文檔審核人員的各類操作轉(zhuǎn)化為知識，由機(jī)器自動對文檔進(jìn)行審核評判，降低審核人員的工作強(qiáng)度。

深度學(xué)習(xí)是指通過多層神經(jīng)網(wǎng)絡(luò)擬合訓(xùn)練樣本分布[2]的一種機(jī)器學(xué)習(xí)算法，與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法相比，克服了多層神經(jīng)網(wǎng)絡(luò)中出現(xiàn)的局部最優(yōu)問題，并且其訓(xùn)練過程不依賴于樣本標(biāo)簽信息，可以實(shí)現(xiàn)特征的自主學(xué)習(xí)，這一特性為許多問題提供了新的解決思路和途徑。2000年，Hilton等人提出了適合訓(xùn)練的馬爾可夫隨機(jī)場模型的對比散度新算法，為深度學(xué)習(xí)的誕生奠定了基礎(chǔ)。2006年，Hinton等人提出深度信念網(wǎng)絡(luò)[3]，并利用對比散度算法對模型進(jìn)行訓(xùn)練，迎來了深度學(xué)習(xí)的發(fā)展浪潮，深度信念網(wǎng)絡(luò)也成為深度學(xué)習(xí)的主流框架之一。

1 PDM文檔自動審核算法框架

整個框架包括訓(xùn)練和審核2個部分：①訓(xùn)練部分：深度學(xué)習(xí)模塊根據(jù)專家產(chǎn)生的訓(xùn)練集對文檔識別參數(shù)進(jìn)行訓(xùn)練，形成能夠識別各類文檔錯誤的模型參數(shù)；②審核階段：文檔審查模塊根據(jù)產(chǎn)生的參數(shù)對新文檔進(jìn)行審查，提示用戶文檔中存在的各類錯誤。PDM文檔自動審核算法框架如圖1所示。

圖1 PDM文檔自動審核算法框架

從現(xiàn)有PDM文檔系統(tǒng)中選取不同類別、不同質(zhì)量的PDM文檔，構(gòu)成PDM文檔集，組織多位專業(yè)審核人員對PDM文檔集進(jìn)行評審，主要對文檔標(biāo)題、字詞級錯誤和語法級錯誤進(jìn)行標(biāo)注，并將相關(guān)句子記錄形成標(biāo)注信息文檔，并分為訓(xùn)練集和測試集。利用相關(guān)技術(shù)對標(biāo)注信息文檔進(jìn)行預(yù)處理，實(shí)現(xiàn)標(biāo)注語句的分詞；利用Skip-gram模型進(jìn)行詞向量[4]訓(xùn)練得到分詞結(jié)果的詞向量表示；利用深度學(xué)習(xí)方法實(shí)現(xiàn)語句的表示，實(shí)現(xiàn)標(biāo)注語句特征的自學(xué)習(xí)；利用Softmax回歸設(shè)計多分類器，對語句進(jìn)行分類；利用測試集對模型進(jìn)行測試，并根據(jù)測試結(jié)果對模型進(jìn)行優(yōu)化，當(dāng)模型效果達(dá)到預(yù)期時，則可以發(fā)布并進(jìn)行使用。

當(dāng)有新文檔上傳至PDM系統(tǒng)時，對新文檔進(jìn)行語句分割后則可以接入PDM自動審核模型，對文檔中的語句類型進(jìn)行標(biāo)注，實(shí)現(xiàn)PDM文檔的自動審核，以上過程需要解決PDM文檔分詞和語句表示等處理算法。

2 PDM文檔分詞及語句表示

2.1 PDM文檔分詞

PDM文檔分詞模型如圖2所示，主要包括初步分詞、去除停用詞、領(lǐng)域?qū)Ｓ迷~篩選及詞典庫構(gòu)建等過程，最終實(shí)現(xiàn)PDM文檔的分詞結(jié)果，主要過程如下：

① 采用國內(nèi)比較成熟、用戶較多的NLPIR[5]漢語分詞系統(tǒng)對PDM文檔進(jìn)行分詞；

圖2 PDM文檔分詞模型

②根據(jù)停用詞表去除停用詞，由于各類PDM文檔都具有較規(guī)范的格式，可將文檔中常出現(xiàn)的對文檔評分無用的詞添加到停用詞表；

③由于NLPIR系統(tǒng)是一個普適性的分詞工具，PDM文檔包含多個領(lǐng)域的專業(yè)詞語，識別可能不精確，可由相關(guān)領(lǐng)域?qū)＜腋鶕?jù)停用詞刪除后的分詞結(jié)果篩選各領(lǐng)域的專用詞，構(gòu)成領(lǐng)域的詞典庫，加入到分詞系統(tǒng)；

④重復(fù)步驟②和步驟③，完成各類PDM文檔分詞模型的構(gòu)建。

2.2 基于深度學(xué)習(xí)的語句表示及分類

通常使用向量空間模型對語句進(jìn)行表示，但是向量空間模型忽略了語句中詞與詞之間的順序，假設(shè)語句中的詞與詞之間是相互獨(dú)立的，忽略了詞與詞之間的依賴關(guān)系，并且存在維度災(zāi)難和稀疏表示的問題。

為實(shí)現(xiàn)對語句的表示，實(shí)現(xiàn)PDM文檔的自動審核，本文首先利用Word2vector中的Skip-gram模型訓(xùn)練得到詞向量，再利用RNN中的長短記憶模型（LSTM）[6]對輸入進(jìn)行逐級抽象表示，得到語句的高層次抽象表示，其原理如圖3所示。

圖3 基于深度學(xué)習(xí)的PDM文檔表示及審核模型

將經(jīng)過深度學(xué)習(xí)網(wǎng)絡(luò)獲取的語句高層次抽象表示輸入到基于Softmax的多類分類器中，最終獲取對當(dāng)前語句是否為標(biāo)題以及是否存在相關(guān)錯誤進(jìn)行標(biāo)注，完成PDM文檔的自動審核，PDM文檔評審人員可根據(jù)標(biāo)注信息實(shí)現(xiàn)對文檔質(zhì)量的評價。

3 PDM文檔自動審核算法的優(yōu)勢

與傳統(tǒng)方式相比，算法主要的優(yōu)勢有：① 客觀性：采用機(jī)器學(xué)習(xí)方法對文檔質(zhì)量進(jìn)行初步評價很客觀，因為它的評價標(biāo)準(zhǔn)地定義清楚，避免了人工審核中因疲勞、經(jīng)驗等主觀因素的影響；② 經(jīng)濟(jì)實(shí)用性：設(shè)計人員提交文檔眾多，在對文檔進(jìn)行審核的過程中需要耗費(fèi)大量的人力、財力和物力，采用自動評分不僅可以降低工作的強(qiáng)度，而且可以提高工作的效率；③即時性：在未來的PDM系統(tǒng)中，自動審核以網(wǎng)絡(luò)為媒介，實(shí)現(xiàn)信息的實(shí)時傳遞，可以在提交文檔后短的時間內(nèi)獲得審核結(jié)果及相應(yīng)的回饋信息。

4 結(jié)束語

PDM系統(tǒng)是一項不斷發(fā)展的綜合技術(shù)，特定內(nèi)涵和外延在不斷發(fā)展變化。本文提出了一種基于深度學(xué)習(xí)的PDM文檔自動審核算法，可以實(shí)現(xiàn)文檔質(zhì)量的初步評價，為審核人員提供輔助支撐，在客觀性、經(jīng)濟(jì)實(shí)用性和即時性等方面都優(yōu)于傳統(tǒng)人工審核，為海量PDM文檔的審核管理提供了一種解決途徑，為以后PDM文檔的智能化處理奠定了基礎(chǔ)。

[1]房曉楠.深度學(xué)習(xí)進(jìn)化編年史:一路走來,幾十年的風(fēng)風(fēng)雨雨[J].機(jī)器人產(chǎn)業(yè),2017(4):102-110.

[2]韓偉,張雄偉,張煒,等.深度學(xué)習(xí)中的經(jīng)典網(wǎng)絡(luò)模型及訓(xùn)練方法[J].軍事通信技術(shù),2016,37(1):90-97.

[3]喬林,張雄偉,史海寧,等.深度學(xué)習(xí)應(yīng)用中的常見模型[J].軍事通信技術(shù),2016,37(1):98-104.

[4]王耀華,李舟軍,何躍鷹,等.基于文本語義離散度的自動作文評分關(guān)鍵技術(shù)研究[J].中文信息學(xué)報,2016,30(6):173-181.

[5]李良杰.基于統(tǒng)計和語義信息的中文分詞算法研究[D].青島:青島科技大學(xué),2016.

[6]謝逸,饒文碧,段鵬飛,等.基于CNN和LSTM混合模型的中文詞性標(biāo)注[J].武漢大學(xué)學(xué)報(理學(xué)版),2017,63(3):246-250.