文檔結構化轉換過程中的數據處理研究

張運珍，唐維

（株洲時代新材料科技股份有限公司，湖南 株洲 412007）

0 引言

隨著信息技術的快速發展，各行業所積累的信息暴漲，分析發現，有15%的數據信息是結構化信息，85%是非結構信息，這些信息包括文檔、視頻、音頻等[1]。這些信息造成企業信息管理存在困難，管理效率低。如何解決當前結構化信息與非結構化信息共同管理的困境是企業急需解決問題。結構化信息與非結構化信息管理中關鍵技術是文件結構化轉化，目前研究主要有：馬玉偉[2]針對航天器設計中存在的復雜問題，提出采用文件驅動信息設計方法進行設計。該方法將傳統的非結構化文檔轉化為數字化模型，從而建立了遙控信息數學模型，應用結果表明所設計的信息流能夠滿足航天器信息設計，且提高了設計效率。馬永軍[3]研究了非結構化的文本數據轉化為結構化數學模型，針對當前自然語言處理過程中存在文檔表示任務中有無法直接表示文檔的缺陷，提出了使用神經網絡算法進行對抗學習，結果表明改進算法相比基于詞的模型有更強的文檔表示能力。

細節精準化的今天，研發對產品的設計、性能、生產、物流等方面都有詳細明確的要求，也就使得針對產品研發的技術指導文件要求詳盡，以減振降噪彈性元件為例，從技術交流、圖紙與文件設計到工藝與模具設計、工藝實施，再到生產與包裝運輸，產品研發的成套性文件多達70份，而如涉及系統組件，那對應的技術文件將會更多。大量的技術管理文件的編制、審批占用了研發人員時間多，如何在滿足文件輸出的符合性前提下，大幅減少文件編制數量及花費時間，提升研發人員的工作效率，本研究的必要性有非常現實的意義。

1 概念分析

結構化數據（Structured Data）是指具有一定結構、可以劃分出固定的基本組成要素、能以表格的形式表達的數據。非結構化數據（Unstructured Data）一般指結構化數據以外的數據，這些數據未存儲在數據庫中，而是以各種類型的文件形式存放，如各種辦公文檔、電子郵件、企業的各種報表、賬單、圖片、傳真、掃描影像，以及大量的多媒體的音頻、視頻信息等等。半結構化數據(Semistructured Data)，是介于界地嚴格結構化的數據（如關系或面向對象數據庫的數據）和完全無結構的數據（如聲音、圖像文件等）之間的一種數據形式，這類數據有HTML頁面、XML文檔等。

2 轉換關鍵技術設計

2.1 共通元素設計

文檔結構轉換系統中需要處理各種非結構化數據的轉換和處理，該過程中首先建立通用數據結構，將其作為新的操作對象。本文將使用的通用數據結構定義為通用文檔模型[1]。根據產品設計要求可知，通用文檔模型中包含的共通元素主要有如表1所示。

表1 共同元素組成表

共通元素中頁面信息是指記錄頁面大小、紙張類型、打印大小、頁面坐標、頁邊距、每頁行數和間距、是否為雙面打印等。文本和編碼是指記錄文檔字體編碼、字體大小、字體類型、字體間距等。字體定義主要包括字體類型、編碼、字體大小等。顏色是指文檔背景顏色可使用24位的RGB和CMY。由于標準中需要對應的英文，在頁面中增加了漢譯英翻譯功能。頁眉、頁腳是指文檔頁眉、頁腳信息。直方圖是指文檔相應的點到點連接圖形。點陣圖是指定義尺寸、分辨率等方式。矢量圖包括弧形、矩形等線段方便文檔繪制圖形。模板是指系統自帶模塊能讓設計簡化。

2.2 模型設計

系統信息拓撲有向圖采用文獻[3]中提供的設計方案。如圖1為系統信息拓撲層流向圖。

圖1中文件與文件之間傳輸采用FTP協議進行傳輸提高了文檔傳輸效率。文件控制與文件管理之間有信息交互。為提高信息流通用設計采用UML建模技術進行信息拓撲設計。系統總體類為File類包含文件管理FileManger、文檔控制FileControl兩個關鍵類，FileMange類負責管理文檔屬性比如邊距、大小、顏色等；FileControl類負責進行文件權限控制、信息流向控制。

圖1 文檔信息拓撲層有向圖

2.3 文檔結構標準流程

為便于文檔數據管理，本文按照標準規范流程進行文檔流程管理，流程圖如圖2所示。

圖2 文檔數據標準流程圖

文檔數據標準流程中轉換數據元素標準化是對元素設計進行數據元素設計思想說明，是規范重要環節；數據元素分類是對標準中設計的共通元素進行分類找出關聯環節；轉換數據元素屬性是共通元素的集中體現；轉換數據定義規范是指對轉換過程中的概念、數據進行規范讓用戶能夠準確的掌握數據；數據轉換元素導入數據庫是指所定義的規范存入到數據庫中。

3 數據處理在文檔結構化中的實施應用

3.1 結構化文檔模版設計

將減振降噪彈性元件的研發按項目開展階段進行劃分，通常劃分為如圖3所示五個階段：

圖3 產品研發階段劃分

對每個研發階段的文件成套性的齊全性進行梳理，具體包括輸出文件、按產品級別難易程度輸出必要性、文件所屬類別、歸口責任人等。

對減振降噪彈性元件按產品類型進行劃分；按產品類型對各技術文件的詳情內容進行梳理，梳理出按產品類型編制的成套性技術文件模版。由于產品的差異性，故此處對產品類型的劃分，應對產品類型歸類同步考慮產品的同質與差異性，同時兼顧實用性及模版工作量，使制作的技術模版的內容均包括該產品類型中最完善的試驗性能內容及技術項點，方便對文件進行后續的通用化與結構化管理。

3.2 文檔數據的處理與轉化實施

康宏宇[4]基于JATS數據標準，制定了存儲格式的數據轉換方法，所設計的資源格式轉換工作流程如圖4所示[4]。

圖4 資源格式處理與轉換工作流程圖

由圖4可知資源格式處理與轉換流程包含的模塊有信息采集、數據存儲、信息抽取以及驗證模塊。所設計的JATS數據標準是由前置部分、主體部分、后置部分、浮動部分、評價組成。其中主體部分包含內容有文字內容、數學公式、表格、圖片以及其它輔助內容組成[5]。

3.3 文檔結構化轉換實施

按不同產品類型進行文件內容的標準化；根據各產品類型的性能要求及其它要求，對整套文件的內容進行標準化，首先是完成技術文件的格式和相關內容的統型，統型方面包括但不限于模版封面設計、字體行距等規定、文件背景設計、頁眉頁腳規定、章節涉及研發項點規定、產品名稱及編碼規定。隨后對各個文件的內容進行標準化，具體包括產品結構、常用零部件清單、材料性能要求、產品應用工況、試驗項點與方法、試驗采用標準選擇、產品應用環境、生產工藝過程設計方案等，進行數據結構化轉換與范圍設定，使得文件的適用性與通用性都得到最大范圍的擴展[6-7]。

4 結語

通過有效處理好數據結構化信息與非結構化信息，并借助JATS文檔結構化轉換過程思想進行研發文檔轉化，精準實現了研發文檔的非結構化轉為結構化，擴大了文檔結構化的適用范圍，也提高了文檔轉化效率，降低了人工操作成本。