網(wǎng)絡(luò)爬蟲技術(shù)在大數(shù)據(jù)審計(jì)中的應(yīng)用

張露

[提要] 在大數(shù)據(jù)審計(jì)面臨著諸多機(jī)遇和挑戰(zhàn)的大背景下，有效清晰的數(shù)據(jù)在審計(jì)過(guò)程中發(fā)揮著重大作用，本文分析不同的審計(jì)數(shù)據(jù)的特點(diǎn)以及采集審計(jì)數(shù)據(jù)的方法。在傳統(tǒng)數(shù)據(jù)采集方法基礎(chǔ)上研究如何基于Python利用網(wǎng)絡(luò)爬蟲采集審計(jì)數(shù)據(jù)，以為大數(shù)據(jù)審計(jì)技術(shù)的發(fā)展提供支持。

關(guān)鍵詞：網(wǎng)絡(luò)爬蟲;數(shù)據(jù)采集;審計(jì)分析;Python

本文為2017年安徽財(cái)貿(mào)職業(yè)學(xué)院“內(nèi)涵提升全員行動(dòng)計(jì)劃”科學(xué)研究項(xiàng)目（人文社科）：“大數(shù)據(jù)在審計(jì)分析程序中的運(yùn)用研究”（項(xiàng)目編號(hào)：2017nhrwc15）

中圖分類號(hào)：F239 文獻(xiàn)標(biāo)識(shí)碼：A

收錄日期：2019年1月18日

一、引言

無(wú)論是國(guó)家審計(jì)還是民間審計(jì)，在當(dāng)今社會(huì)經(jīng)濟(jì)發(fā)展過(guò)程中都起到了十分重要的作用，為經(jīng)濟(jì)發(fā)展“保駕護(hù)航”。大數(shù)據(jù)目前也是各國(guó)研究的重點(diǎn)和熱點(diǎn)，并將大數(shù)據(jù)的研究和應(yīng)用上升到了戰(zhàn)略層次。美國(guó)注冊(cè)會(huì)計(jì)師協(xié)會(huì)（AICPA）在2014年就對(duì)大數(shù)據(jù)可能對(duì)審計(jì)產(chǎn)生的影響進(jìn)行了分析。在全球信息化的大背景下，如何利用大數(shù)據(jù)降低審計(jì)風(fēng)險(xiǎn)，提高審計(jì)效率仍然是一個(gè)非常重要的命題。2015年中共中央辦公廳、國(guó)務(wù)院辦公廳《關(guān)于完善審計(jì)制度若干重大問(wèn)題的框架意見(jiàn)》及配套文件中明確提出“構(gòu)建大數(shù)據(jù)審計(jì)工作模式，構(gòu)建國(guó)家審計(jì)數(shù)據(jù)系統(tǒng)和數(shù)字化審計(jì)平臺(tái)，探索建立審計(jì)實(shí)時(shí)監(jiān)督系統(tǒng)，實(shí)施聯(lián)網(wǎng)審計(jì)”。劉國(guó)城、王會(huì)金（2017）將大數(shù)據(jù)審計(jì)平臺(tái)分拆為采集、預(yù)處理、分析和可視化四個(gè)子平臺(tái)，基于方法支撐、過(guò)程建模和運(yùn)行機(jī)理等方面對(duì)各個(gè)子平臺(tái)作以專項(xiàng)研究，旨在為大數(shù)據(jù)審計(jì)實(shí)踐提供建設(shè)性思路。秦榮生（2014）指出大數(shù)據(jù)、云計(jì)算技術(shù)的產(chǎn)生和發(fā)展，正在逐漸影響審計(jì)技術(shù)和方法的發(fā)展。

大數(shù)據(jù)具有數(shù)據(jù)體量巨大、處理速度快、數(shù)量種類多和商業(yè)價(jià)值高的特點(diǎn)。被審計(jì)對(duì)象的信息化促使審計(jì)人員在審計(jì)方法上更加的信息化，如果將這些大量的、散落的、無(wú)序的數(shù)據(jù)進(jìn)行集中化、結(jié)構(gòu)化，將其變成能夠方便獲得可讀取的審計(jì)數(shù)據(jù)，并通過(guò)審計(jì)分析程序發(fā)現(xiàn)更加有效和清晰的審計(jì)線索，那么大數(shù)據(jù)將會(huì)發(fā)揮重大的商業(yè)價(jià)值。由此可見(jiàn)，數(shù)據(jù)是審計(jì)分析的重要前提，獲取高質(zhì)量數(shù)據(jù)往往能夠幫助審計(jì)人員快速發(fā)現(xiàn)風(fēng)險(xiǎn)點(diǎn)進(jìn)行應(yīng)對(duì)，大大提高審計(jì)的效率和效果。目前，尚未有成熟的審計(jì)大數(shù)據(jù)收集與整理技術(shù)，這影響了大數(shù)據(jù)在審計(jì)中使用的效率。本文將基于目前大數(shù)據(jù)的研究現(xiàn)狀，主要探討審計(jì)人員應(yīng)當(dāng)如何利用網(wǎng)絡(luò)爬蟲技術(shù)從網(wǎng)絡(luò)渠道獲取所需審計(jì)數(shù)據(jù)，從而擴(kuò)充審計(jì)數(shù)據(jù)的范圍，獲得更多的審計(jì)線索，提高審計(jì)分析效果。

二、審計(jì)大數(shù)據(jù)采集分析

（一）審計(jì)大數(shù)據(jù)類型。大數(shù)據(jù)審計(jì)區(qū)別于傳統(tǒng)的審計(jì)模式，傳統(tǒng)審計(jì)模式傾向于依據(jù)被審計(jì)單位提供的相關(guān)資料去鑒證其是否真實(shí)可靠。而大數(shù)據(jù)審計(jì)是一種實(shí)時(shí)審計(jì)，強(qiáng)調(diào)審計(jì)人員應(yīng)當(dāng)主動(dòng)地去獲取企業(yè)內(nèi)部和企業(yè)外部的數(shù)據(jù)，企業(yè)內(nèi)部的業(yè)務(wù)數(shù)據(jù)主要依靠被審計(jì)單位提供，而外部數(shù)據(jù)，比如法律、銀行、稅務(wù)、供應(yīng)商、客戶、物流等其他數(shù)據(jù)需要審計(jì)人員去挖掘和分析。從目前來(lái)看，審計(jì)大數(shù)據(jù)可以分為兩類：一類是結(jié)構(gòu)化數(shù)據(jù)，它由明確定義的數(shù)據(jù)類型組成，比如數(shù)字、貨幣、日期等，其模式可以使其易于搜索。這種數(shù)據(jù)一般儲(chǔ)存在數(shù)據(jù)庫(kù)里，比如企業(yè)ERP系統(tǒng)中的銷售數(shù)據(jù)、生產(chǎn)數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)等;另一類是非結(jié)構(gòu)化數(shù)據(jù)，是指那些不方便用數(shù)據(jù)庫(kù)二維邏輯來(lái)表現(xiàn)的數(shù)據(jù)，如辦公文檔、文本、圖片、HTML圖像等，審計(jì)人員需要的外部數(shù)據(jù)以非結(jié)構(gòu)化數(shù)據(jù)類型居多。

圖1 基于Python 的網(wǎng)絡(luò)爬蟲代碼示例

（二）審計(jì)大數(shù)據(jù)采集方法

1、直接拷貝讀取。審計(jì)人員首先判斷出自己需要的審計(jì)數(shù)據(jù)，然后根據(jù)被審計(jì)單位使用的財(cái)務(wù)軟件（如金蝶、用友）的使用特點(diǎn)，利用軟件數(shù)據(jù)庫(kù)已經(jīng)預(yù)設(shè)好的指令去提取轉(zhuǎn)換審計(jì)人員所需要的數(shù)據(jù)，并將其保存為Excel等格式。

2、開放數(shù)據(jù)互聯(lián)（ODBC）。如果被審計(jì)單位與審計(jì)人員使用的是可以對(duì)接的數(shù)據(jù)庫(kù)，可以通過(guò)相關(guān)的數(shù)據(jù)訪問(wèn)接口訪問(wèn)被審計(jì)單位所使用的業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)，并將數(shù)據(jù)進(jìn)行還原后轉(zhuǎn)出，成為審計(jì)人員可以直接利用的數(shù)據(jù)。

3、中間文件采集。指審計(jì)人員與被審計(jì)單位約定好數(shù)據(jù)的格式，被審計(jì)單位按照要求將自己的相關(guān)數(shù)據(jù)轉(zhuǎn)換成約定的格式，比如說(shuō)文本文件格式，這種大部分?jǐn)?shù)據(jù)庫(kù)都能夠直接讀取的格式，從而省去了兩種不同數(shù)據(jù)庫(kù)對(duì)接的問(wèn)題。

4、網(wǎng)上采集。除了被審計(jì)單位或者上級(jí)審計(jì)機(jī)關(guān)提供的相關(guān)數(shù)據(jù)以外，審計(jì)人員仍然需要從被審計(jì)單位外部獲得相關(guān)的工商、稅務(wù)、行業(yè)、媒體等公開數(shù)據(jù)以進(jìn)行多方面的審計(jì)分析，這些數(shù)據(jù)并不是被直接提供的結(jié)構(gòu)化數(shù)據(jù)，需要審計(jì)人員采用一定的方法從網(wǎng)上進(jìn)行采集。

目前，審計(jì)數(shù)據(jù)采集大部分采用的是上述的前三種方法，往往依托一定的數(shù)據(jù)庫(kù)基礎(chǔ)，能夠獲得的信息大多基于被審計(jì)單位，最后一種網(wǎng)上采集數(shù)據(jù)的方法由于沒(méi)有統(tǒng)一的方法和技術(shù)，耗費(fèi)大量時(shí)間和經(jīng)歷，往往難以實(shí)現(xiàn)，這大大限制了審計(jì)人員進(jìn)行審計(jì)分析的范圍，同時(shí)也使審計(jì)的取證率難以達(dá)到預(yù)期，從某種程度上提高了審計(jì)風(fēng)險(xiǎn)。在大數(shù)據(jù)審計(jì)背景下，審計(jì)人員執(zhí)行分析程序不能僅僅將眼光局限于內(nèi)部數(shù)據(jù)，更應(yīng)當(dāng)從網(wǎng)絡(luò)公開數(shù)據(jù)中獲取更加全面的信息，但是這些信息大多以網(wǎng)頁(yè)等格式存在，難以被審計(jì)人員直接用于分析，所以本文提出可以利用網(wǎng)絡(luò)爬蟲技術(shù)抓取網(wǎng)頁(yè)上的信息，并整理成一定的格式，方便審計(jì)人員從海量數(shù)據(jù)中發(fā)現(xiàn)審計(jì)線索，使審計(jì)分析程序發(fā)揮更大的效用。

表1 基于Python 的網(wǎng)絡(luò)爬蟲結(jié)果示例