非結構化內部審計數據及其處理探析

楊熳

[摘要]非結構化內部審計數據有著異構程度高、存儲分散、處理難等特點，處理時應圍繞審計目標，厘清數據的種類和處理方法，通過構建非結構化審計數據處理的邏輯框架，有針對性地運用各種處理方法，達到提高審計質效的目的。

[關鍵詞]非結構化? ? 審計數據? ? 數據處理? ? 內部審計

部審計工作日益依賴數據分析來提取有用的

審計信息并形成相關審計結論。目前，理論界就構建非結構化數據管理系統進行了大量研究。內部審計人員作為非專業技術人員，面對非結構化數據，能夠做什么，做到什么程度，以及如何在繼續利用結構化數據的同時，加強非結構化數據的管理，從而最大限度發揮數據分析在內部審計中的作用，是一個值得關注和探索的課題。

一、內部審計中非結構化數據處理的必要性

非結構化數據是結構不規則或不完整、未經預定義、不能用數據庫二維邏輯來表現的數據。包括各種格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻、視頻等。在業務領域，紙質資料不斷被電子信息存儲方式所取代。因此，內部審計工作獲取的資料中，存在大量電子化的非結構數據。這些數據主要包括以下三類：一是文本類，如被審計單位的人事任命、活動通知、項目立項、資金支出等文件，各單位、各部門自主編制的非結構化的統計、記錄、登記資料等。二是圖像類，如各類活動的圖片資料、各種記錄資料的圖片格式等。三是視頻類，如涉及安全保衛的影像資料，其他用于記錄的視頻材料等。

以文本、圖形、圖像、視頻等非結構化數據形式提供的審計資料中往往蘊藏著諸多有用的審計線索和審計證據。面對如此巨大的非結構化審計數據，如何存儲、查詢、分析、挖掘和利用這些海量信息資源就顯得尤為關鍵。一方面，是否對非結構化數據進行處理，關系到審計內容的全面性和完整性，直接影響內部審計的質量。另一方面，能否有效對非結構化數據進行處理，關系到審計的效率和效果，直接影響到內部審計的成效。有效的非結構化數據處理技術能夠將非結構化數據全面納入審計視野，加強數據挖掘的力度，確保內部審計內容的完整性，加大內部審計力度。

二、非結構化數據處理的難點與要點

對審計工作而言，非結構化數據具有大量的價值信息，可用于發現審計線索、佐證審計發現。但非結構化審計數據具有以下特點：一是數據格式多樣，異構程度高，內部審計人員難以進行統一處理;二是各類審計資料分散存儲在各種媒介或各個部門，內部審計人員進行信息匯集較困難;三是審計資料的內容無序可循，表達無規則。內部審計人員在信息處理及有效信息篩選方面難度較大。這些特點也是非結構化數據處理的難點，處理的難點還來源于數據處理手段的欠缺以及審計人員數據處理基礎知識的匱乏等。

目前尚沒有成熟簡便的非結構化數據處理工具或方法。審計人員還不能像處理結構化數據一樣，快捷地對審計資料進行數據挖掘。一是傳統數據處理工具在應對非結構化數據方面力不從心。傳統關系型數據庫采用二維結構，主要面向傳統數據分析應用領域，擅長解決結構化數據管理問題，在管理非結構化數據方面先天不足，尤其在處理海量非結構化信息時，更是面臨巨大挑戰。二是目前非結構化數據處理的經驗積累不足，尚未出現技術研究與業務應用相互促進的良性互動。非結構化數據價值日益受到重視，如何對組織內非結構化數據進行管理，已經有一定的探索和實踐，但對非結構化數據的處理，尤其是審計人員等非專業人士如何有效處理非結構化數據，經驗不足。三是非結構化數據的處理與目前大多數審計人員的知識結構不匹配。非結構化數據由于其本身的數據結構，理解這類數據的處理方式要具備一定的數據處理基礎知識和能力。而目前審計人員對財務、法律法規應用等方面比較精通，而對信息技術及其數據處理方式的了解不足;部分對信息技術、數據處理等領域有專門研究的內部審計人員又缺乏對財務等業務知識的了解。另外，非結構化數據與內部審計目標的連接也考驗著審計人員對審計目標、審計內容和審計方法的把控能力，對審計人員的素質提出了更高要求。

為有效應對非結構化數據處理帶來的困難，內部審計人員應牢牢把握以下三點：一是明確審計目標與非結構化數據之間的關系，有針對性地篩選非結構化數據作為處理對象。二是根據審計對象的不同，厘清審計中涉及非結構化數據的具體種類，為審計數據處理做好準備，并根據實際情況，充分利用目前已經存在的非結構化數據處理方式。三是利用審計的廣闊平臺，不斷探索非結構化數據的種類、數據處理的有效方式，在實踐中積累經驗和方法。

三、非結構化審計數據處理的邏輯框架

針對非結構化審計數據量大、形式復雜的實際情況，為提高審計成效，避免誤入無目的、無方向的數據處理誤區，應建立非結構化數據處理的整體框架。

從審計方案中的審計目標著手，邏輯框架向上下兩個方向展開（見圖1）。向上逐級展開，得到審計發現問題和審計成效;向下逐層展開，確定所需的審計證據及審計數據。向上展開顯示的是審計目標實現的價值，向下展開顯示的是審計目標實現的過程，而審計目標即審計過程中的操作指南，其實現與否也是審計質量的衡量標準。

整個邏輯框架的中心點是審計目標。審計目標可以細分為各個子目標，是數據處理的出發點，各子目標的實現是審計成效得到彰顯的基礎。框架的重要內容是圍繞各個審計子目標查找相應的審計證據，其過程是通過對各類審計數據的處理找到所需的審計證據，從而實現審計目標。非結構化審計數據的處理是數據處理的有機組成部分，對實現審計目標有著不可取代的作用。

非結構化審計數據的處理包括數據采集、數據歸類及預處理、數據挖掘、信息融合等過程。數據的采集是整個數據處理過程的起點，其主要方法有系統導出、零散或集中拷貝、數據自動推送、數據鉆取等。對審計資料的歸類處理主要是將各類非結構化數據分類，同時根據數據的種類有針對性地進行預處理。一般而言，在內部審計資料中，非結構化數據可以分為文本類、圖像類和視頻類等，相應地，根據數據的種類，知識挖掘可以分為文本挖掘、圖像挖掘和視頻挖掘。非結構化數據采集、歸類、預處理和知識挖掘的最終目的是將數據處理所得的信息進行融合，得到審計工作所需的描述性結果、診斷性結果，甚至是預測性和自我學習分析性結果。

四、非結構化審計數據處理的方式

針對非結構化數據的特點以及目前的審計數據處理現狀，審計中要加強對非結構化數據的利用，重心應放在數據采集、歸類處理與預處理、知識挖掘和信息融合等方面，以充分發揮其在審計中的作用。

（一）審計數據采集

內部審計數據的獲取是審計工作的起點，獲取數據的質量極大影響著審計質量。通過什么方式獲取、獲取什么樣的數據、獲取多少數據，是審計人員首先需要思考的問題。

對于內部審計數據的獲取，主要有系統導出和直接拷貝、數據推送、數據專業化采集三種。業務系統一般會預留數據接口用于數據傳輸，審計人員只要做好部門間的協調就可自行或在技術人員協助下將數據以一定的格式導出，并保存到審計人員的電腦或審計系統中。系統導出是數據收集最理想的方式，要求業務系統在設計開發時必須預留數據導出接口。直接拷貝是指將相關審計數據拷貝到移動存儲介質，是一種直接的數據獲取方式。數據推送是指相關業務系統根據設定的條件，通過特定的渠道主動向內部審計人員發送相關數據的形式。數據專業化采集是數據獲取中最復雜的一種，是指審計人員借助專用的工具或手段，在被審計單位網頁等資源上收集各類信息。相較其他兩種方式，數據專業化采集較為復雜。目前運用較多的是以網絡爬蟲技術為核心，結合其他技術的網站信息采集技術，整個采集包含網頁采集、信息抽取和信息檢索三個過程。其中，網頁采集是指審計人員利用工具對含有相關審計資料的網絡站點進行網頁抓取并保存;信息抽取是審計人員在網頁采集的基礎上，按照自定義的抽取規則抽取審計所需信息;信息檢索則負責信息的呈現，即審計人員在網頁信息抽取的基礎上利用檢索工具完成所需信息的檢索，并將得到的信息進行呈現。

在非結構化數據采集前，內部審計人員要通過以往經驗、詢問、觀察等方式，了解組織內部各類非結構化數據的存儲方式以及數據可能獲得的方式，并根據實現審計目標所需審計證據的內容與形式來決定非結構化數據獲取的必要性以及獲取數量。

（二）審計數據歸類與預處理

高質量的數據是數據處理的基礎，初步采集到的非結構化數據需要經過歸類和預處理后才能進行相應的知識挖掘，從而得出審計證據或審計所需的信息。一般而言，在內部審計資料中，非結構化數據可以分為文本類、圖像類和視頻類等。非結構化數據進行預處理基于兩方面原因：一是采集的數據中存在一些錯誤或異常數據，需要通過預處理來提高數據質量;二是根據非結構化數據挖掘的需要，將相關數據進行歸集或者去除無關數據，為后續處理做好準備，如去掉網頁中存在的廣告、導航欄等不必要信息。

在不同的審計項目和不同的審計數據來源情況下，非結構化數據預處理有不同的處理要求，難以形成一致方法。但總體而言，預處理過程是一個減少數據缺陷、進行數據整合和融合、進行數據變換和歸約的過程，實質上是一個數據提質的過程。具體而言，包含數據清理、數據的組織與集成、數據選擇、數據變換等多種形式。

非結構化數據清理是指通過計算機與人工相結合的方式，致力于發現數據不完整、數據不一致、數據錯誤等缺陷。首先，對非結構化數據的缺陷類型進行分類。將缺陷數據分為數據不完整、數據不準確、數據不一致等類型，并且評估這些數據缺陷對審計中數據分析工作及數據分析結果的影響。其次，對數據缺陷產生的原因進行分析。鑒別其是記錄過程中隨意產生的還是后期被修改導致的，是該類數據自身特征導致的還是記錄系統不穩定導致的。分析數據缺陷的原因可以為有效的數據清理在方法選擇和工作量估計方面做好準備。最后，對數據進行清理。數據清理的手段包括人工和計算機兩種方式。對于偶發性數據缺陷一般采用人工方式進行處理，而對于系統性、長期性數據缺陷一般采用計算機方式進行處理。

數據的組織與集成是指將多種非結構化數據源融合為一體進行異構數據整合的過程，是將多個數據源中的數據進行有效合并的過程。一方面，要關注數據模式問題，對于統一模式的數據，其集成相對簡單，但對于不同模式的數據，如何進行有效集成，需要結合實際情況加以考慮。另一方面，要關注數據集成過程中產生的數據質量問題，如由于數據集成產生的數據冗余問題，在集成過程中發現的數據沖突問題等。

數據選擇是指對采集的非結構化數據根據審計目標進行篩選的過程。非結構化審計數據量大、形式復雜，為提高審計成效，應根據審計目的去除冗雜數據，有針對性地選擇審計數據。一是選擇直接與審計目標相關的數據，并且研判數據的質和量能否支撐審計證據，根據實際情況修正或者補充完整審計數據。二是慎重考慮與審計目標間接相關的數據，選擇對實現審計目標關系較近的審計數據，舍棄對實現審計目標作用較小的數據。三是舍棄與審計目標實現無關的數據。

數據變換是指將處理難度大的非結構化數據根據現有的技術或手段轉換為另一種數據形式的過程，這種變換有多種形式。有的是將數據從一種模式轉換為另一種模式，非結構化數據形式多樣，導致數據模式的多樣化，因此存在模式轉換的必要性;有的是將多維數據壓縮成維數較少的數據，選擇性地消除非結構化審計數據在時間、空間、屬性等方面的差異;有的是將數據進行泛化，用更高層級的數據概念代替低層級數據概念，從而減少數據的復雜度。

對于內部審計人員而言，在非結構化數據的預處理方面要遵循兩個原則：一是避免將低質量數據納入數據處理的范圍;二是盡量借助一定的技術手段將數據挖掘難度大的數據轉化為處理難度小的數據類型。

（三）審計數據的知識挖掘

在大量的非結構化數據中獲取所需的審計信息是實現審計目標的途徑之一，而知識挖掘則是獲取審計信息的重要途徑。內部審計資料中的非結構化數據一般分為文本類、圖像類和視頻類等，知識挖掘相應分為文本挖掘、圖像挖掘和視頻挖掘等。

文本挖掘是指從相關文本數據中獲取有價值知識和信息的數據挖掘方法，包括基于單文檔的數據挖掘和基于文檔集的數據挖掘。其主要原理是通過文本分詞、語義分析、文本特征抽取等技術，結合用戶相關性反饋等技術進行輔助查詢，從而給予用戶智能知識提示。首先，利用分詞系統或分詞工具對文本資料進行文本分詞，得到文本的“詞吧”。其次，將文本向量化，將分詞后的文本轉化成計算機能夠識別和處理的形式，如采用向量空間模型將文本中的詞特征量化處理后作為文本的特征向量。再次，利用文本頻率、互信息量等特征選擇方法降低特征向量的維度。最后，利用KNN算法、貝葉斯算法、決策樹算法等進行知識挖掘。

圖像挖掘是用來挖掘大規模圖像數據中隱含知識、圖像內或圖像間各種關系以及隱藏在圖像中的各種模式的一種技術。根據圖像挖掘的具體對象可分為基于圖像描述的數據挖掘和基于圖像內容的數據挖掘。在內部審計中，應用較多的是利用文字識別軟件提取圖片上的文字，再通過文本挖掘方式進行處理。

視頻挖掘是目前最為復雜的類型，一個常見的視頻數據可能包含音頻、圖像、文本等豐富的信息。在內部審計中，涉及最多的視頻資料是監控視頻。對于監控視頻，一般通過對運動目標的場景事件和行為進行挖掘，從而得出異常和正常模式，并且對異常事件進行預警，其預警模式在非現場審計監督方面具有重要意義。視頻挖掘的另一種方式是利用圖像識別技術對相關視頻進行關鍵幀的提取，從而得到視頻的圖像摘要，也可以對這些關鍵幀建立圖像索引。

（四）審計信息的融合

信息融合是將內部審計中獲取的多種類型或多種渠道的信息融合在一起，并從中提取出更精確或具有更多特征有效信息的過程。對于非結構化數據處理得出的信息而言，審計信息的融合既包括各類非結構化數據處理結果之間的信息融合，也包括非結構化數據處理信息與審計中獲取的其他信息的融合。內部審計信息融合的作用主要體現在增加內部審計信息的利用率，提高審計結論的可信度和精確度，最終提高審計質量。

審計信息的融合在整個過程中涉及大量的審計判斷。一般而言，相互支持的審計信息能夠增強審計證據的可靠性，審計信息的互斥以及信息較弱的支持度會降低審計證據的可靠性。在信息融合中，也會應用到聚類分析、自適應神經網絡、表決邏輯和信息熵等理論。

審計信息的融合最終是為了實現審計目標，審計目標的載體是審計結論，審計結論有描述性結果、診斷性結果、預測性結果和自我學習分析性結果四個層次。審計信息融合的目的是使審計結論不斷地從描述性向自我學習方向深化。

（作者單位：中國人民銀行杭州中心支行，

郵政編碼：310001，電子郵箱：yangman26@126.com）