基于大數據思維的財務數據挖掘及應用研究

朱有婧

江蘇舜天國際集團有限公司成立于1996年，主營進出口和國內貿易及國際招標、生產、倉儲和實物租賃等業務，是集技工貿于一體的省屬國有外貿集團。面對國內外復雜嚴峻的經營環境，舜天國際集團始終將財務管理放在集團管控的核心位置，推動構建風險防范文化。集團高度注重財會隊伍建設，專門成立集團層面的理論研究小組，組織財會人員進行理論研究，以理論促實踐，促進財會隊伍提檔升級，將實踐經驗轉化為理論成果。在全國及江蘇省商務系統財會論文評選中多篇論文獲獎，本刊特選登集團財會人員撰寫的對商務財會工作實踐中新問題進行分析和思考的文章，供轉型中的外貿企業財會同行借鑒參考。

【摘要】大數據一詞由來已久，如今人們一般用它來描述大量類型各異的數據。數據的爆炸性增長，對于企業未來發展的幫助變得越來越顯著，盡管許多企業可能還沒意識到數據的急速擴張帶來的隱患，但是隨著大數據的蔓延，人們將會越來越需要數據、重視數據。如何在短期內快速處理大量不同類型的數據，生成對決策有參考價值的有效信息，數據挖掘便應運而生。文章論述了大數據思維以及數據挖掘的背景與特征，以S企業為案例，運用數據挖掘對自動化財務分析，以及動態監控預警、風險評估方面的財務數據分析進行了應用探討。

【關鍵詞】大數據思維；財務數據

挖掘；數據分析

【中圖分類號】F275

一、大數據時代背景及特征

直到2009年，“大數據”的概念才逐漸在西方國家流行，引起了全世界的極大關注。“大數據”思維和技術開始進入我們的工作和生活。

（一）總體性思維

自19世紀以來，研究社會現象的整體特征，收集數據的主要手段一直是抽樣方法，通過抽樣獲取數據對于無法訪問聚合數據的人來說是一種無助的選擇。

這是因為過去數據的記錄、儲存和分析手段較落后，難以搜集大量數據進行儲存和分析。而現在人們可以通過各種算法分析數據，甚至可以分析與之相關的所有數據，而不只是依賴于抽樣分析，可以更全面地了解樣本中隱藏的細節或關鍵信息。在大數據時代，數據采集、處理、存儲和分析技術的發展取得了重大突破，使我們能夠輕松、快速、動態地獲取與研究對象相關的所有數據，我們的思維方式也從以前的樣本思維轉向整體思維，這使我們對整體的理解更加全面、立體和直觀。

（二）容錯率思維

過去由于收集的信息不充分，來源又相對單一，因此有必要確保樣本數據盡可能結構化和精細化。否則，分析出的結論就很可能會有所偏離，導致數據不準確，從而將導致分析出的結果與實際情況相差甚遠，因此人們十分注重數據樣本的精確思維。然而，由于大數據技術的突破，可以存儲、處理、計算和分析大量不同類型的數據，這對傳統的精確思維提出了挑戰。當今時代，我們的思維方式需要轉變，不能再完全是精確性思維，而應該轉向容錯性思維。精度的絕對性不再是我們追求的主要目標，如果能適度忽略精確性，允許一定可控范圍之內的錯誤，反而能在宏觀層面上收獲更多的知識信息。

（三）相關性思維

在過去，人們常常堅持這種現象隱含的因果關系，試圖根據有限的樣本數據來分析事物的內部關系。但是，有限的樣本數據并不能反映事物之間的普遍聯系。大數據時代，使用數據挖掘技術發掘和分析各個事物間的隱藏關系，幫助我們捕捉現狀并預測未來。通過關注線性關系和復雜的非線性關系，可以幫助人們看到許多以前從未發現的數據聯系，使我們發現了解這個世界更好的視角（圖1）。

二、數據挖掘的定義及特征

（一）數據挖掘的背景及挑戰

在過去十幾年的時間里，人們使用信息技術生成和收集數據的能力急劇增加，這一勢頭仍將持續發展下去。于是，出現了一個新的挑戰：在這個信息爆炸的時代，信息的高度過載幾乎是每個人將要面對的問題。在廣闊的信息海洋中，我們需要及時發現有用的信息，并有效提高其利用率。為了使數據能夠真正成為一個企業的可用資源，就要充分利用它來幫助企業進行業務決策，同時服務于企業的戰略性發展，否則這些數據很可能會成為企業的負擔，甚至變成垃圾數據。因此，面對這種種的挑戰，數據挖掘技術得以產生并蓬勃發展，其強大的生命力標志著它在現今時代的重要性越來越顯著。

（二）數據挖掘的定義

數據挖掘通常可理解為數據勘探，是指從大型、模糊、不完整和有噪聲的算法中搜索隱藏在其中的潛在有效信息的過程（圖2）。大數據時代的來臨，使得數據挖掘的研究領域也越來越深入和廣泛。

（三）數據挖掘的特征

一是數據的來源是龐大、豐富、有效、內容真實和不確定的；二是提取的數據內容是為了滿足用戶的需求，是用戶重點需要關注的對象；三是數據挖掘的結果在特定的領域有一定的商業價值，通常是相對的；四是用戶可以理解、描述和使用挖掘出的內容。

三、案例分析

外貿企業S主要從事進出口貿易，進出口產品包括：成套設備、機電產品、化工原料、木材和輕工、工藝品、工農業設備等。自ERP系統上線以來，制作業務合同11 074個、申請客商6 453個、收款17 330筆、付款51 177筆、收付金額合計超過180億元，建成承接業務數據的財務自動憑證模板112個，生成會計憑證8.55萬份，新增會計記錄81.87萬條，自動化憑證率已穩定在90%以上，業財一體的信息化建設目標已經初步實現，ERP系統在內部控制、業務管理、風險防范和財務管理等方面取得了立竿見影的效果。S企業基于業財數據，建立了財務分析自動化、財務預警平臺、財務風險評估平臺等模塊，以下進行案例分析探討。

（一）財務數據分析存在的問題

1.海量數據缺乏準確性

S企業數據量巨大，從海量數據中查找有用信息不僅需要實時收集、組織和存儲數據分析，還需要提取出有利于企業決策的信息數據。對于S公司和所有企業來說，識別這些數據是一個巨大的挑戰。如果不能準確篩選和識別數據，企業將難以獲得有價值的信息，數據垃圾越來越多，帶來的將是“大數據災難”。S企業在建設客戶評審、財務分析等模塊過程中，發現數據冗余繁多，傳統思維模式的分析方式已經不適用。

2.數據分析缺乏科學性

企業面臨的市場環境變得越來越復雜，特別是“線上+線下”的商業模式，使得企業財務數據呈指數級增長。在獲取數據時，通過數據分析，得出的結論往往帶有指向性，主要是由于來源數據未必會全面客觀，很多數據可能已被提供者事先處理。因此，即使數據本身沒有錯，但數據分析的過程不一定正確，比如對一些信息斷章取義，那么分析出的結論有可能與事實大相徑庭。

3.數據分析持續滯后性

S企業經營中面臨的情況不斷變化，以該企業財務分析的編制為例，從經營實際到生成財務報告，不僅要經過一個會計系統的加工，更需要一個生成周期。因此，根據財務報告計算出來的財務指標天然是滯后的，并且財務分析中羅列的各種數據需要經過不同的分析算法，如果沒有數據的自動分析，工作量將很大，制作周期也會很長，更容易造成財務分析的持續滯后。

（二）建立大數據思維挖掘模式

1.各類數據交互整合

S企業財務數據里包含企業各種經營數據，財務分析很大程度上早已超出了以前資金管理、成本控制的范疇。這些財務數據龐大而繁瑣，如果不能整合，不能相互關聯，將會影響S企業的經營管理和價值數據的挖掘。因此，如何對現有ERP系統中的數據進行科學分類整理是重要的第一步。根據S企業的管理精細度可以從不同用途將數據分為預算、戰略、核算、稅務、資金管理、績效考核等幾部分進行數據提取，建立模型、數據驗證等，真正將財務部門轉型為財務管理部門。目前，S企業各部門和各業務公司形成的“信息孤島”已經被打破，業財一體化打破了傳統的財務管理界限。

2.海量數據“提純”

大數據的本質是還原用戶的實際需求，因此在使用大數據思維技術分析財務數據時，應該找出這些數據背后的真實關系，并恢復數據的真實面貌。將海量數據進行“提純”，這是數據挖掘中至關重要的步驟。現今，S企業可以通過各種渠道獲取所需要的數據信息，但信息的真實性和時效性并不能得到保證，在會計工作中，數據挖掘可用于查找數據背后的真實隱藏價值，以確保數據的有效性和合理性。

3.挖掘財務數據本質

根據業務特點，應用大數據知識和數據挖掘技術，探索財務數據的本質。在企業的經濟業務中有些數據并沒有真實反映業務情況，這就需要會計人員根據企業的業務特點具體分析財務數據，用生產數據倒推財務數據，找出真實聯系。比如，若原材料占比較大，我們就可以根據企業購買原材料的數據來分析該企業的生產情況，從而推測該企業的經濟效益；若對電力需求非常大，我們就可以根據企業的車間月用電量來推測企業的生產情況，例如財務數據顯示企業生產狀況很好，但企業的用電量卻減少了，說明數據是有問題的。會計人員在分析數據時就要了解本企業的經營情況，根據業務特點和業務數據清理虛假數據、挖掘數據本質。

（三）建立數據挖掘應用模型

如今，數據挖掘方法層出不窮，在財務領域應用較多的有幾種分析模型，分別是統計分析、決策樹分析、聚類分析、關聯規則、人工神經網絡等。本文僅關注S企業目前應用的分析模型，如下：

1.統計分析模型

統計分析模型是數據挖掘中最基礎的分析模型，在許多分析模型中都有統計分析的身影，并且以統計分析為基石。例如，在聚類模型算法中，使用了統計分析的平均值計算方法，在關聯算法中使用了統計分析的置信區間作為基礎。S企業銷售決策中對于客戶價值細分方面，在客戶評級模塊中，通過辨別分析法根據一個閾值來判斷客戶具有的價值究竟屬于哪個區間；使用回歸建模來預測財務數據的潛在價值，有助于管理者進行決策。

2.決策樹模型

決策樹是對海量數據進行整理歸類，通過剪枝的方法剔除無關數據，根據分析數據后的結論達到預測目的。通過先設定歸納值的集合形成決策樹，若此決策樹未能對全部數據對象給出準確的劃分，采取重復訓練的方法，依據這些數據繼續提取新的數據集，重復放到原始數據集中，并重復循環此過程直至所有訓練數據精確歸納處理，S企業將決策樹分析算法運用在財務人員日常工作考核模塊中。

3.關聯規則模型

如今，在數據挖掘和分析中廣泛應用了關聯規則的方法，關聯規則分析的是數據因果關系之外的自身關聯性，從數據反映出的事實出發，挖掘出具有決策意義的結論。也就是說，如果兩個或者多個事物的屬性間存在某種關聯，則可以通過依賴其他不同種類的屬性值來預測當中一個的屬性。

（四）財務數據挖掘的實現機制

如今財務數據分析的理論基礎已經非常成熟，但由于受到經濟和社會環境的影響，對財務數據分析的發展有了更高的要求。在這個信息爆炸的時代，信息即資產，企業需要從龐大的財務數據中通過關聯規則發掘出有潛在價值的信息，為管理者提供可靠的決策支持，實現過程見圖3。

1.數據全面預處理

S企業ERP系統中財務的初始數據并不是完全無噪聲的、精準的，需要對初始數據進行清理。噪聲數據的處理是最典型的，并且可以通過分箱、聚類、回歸等來完成清理。例如枚舉型的數據如賬務類型、記賬部門、業務組屬性等，如果出現枚舉以外的結果，則應作為噪聲數據過濾。可能出現空值的地方有很多，主要是由于收集數據的時候缺少樣本信息。有很多方法可以處理空值，例如最大頻率填充、平均數值填充、隨機數填充等。但是，填充空值必須根據實際業務情況和變量本身的特征進行處理，不能隨意填寫。

通常在嚴格把關財務數據生成過程情況下不會出現很不符常理的噪聲數據，但是在財務分析數據抓取時，為了能盡量考慮最大可能性，需要對數據進行全面預處理，保證抓取數據的準確性。

2.自動化財務分析

S企業已實現自動化財務分析，運用了關聯規則中的交互挖掘算法，并通過接口實現了從ERP系統中自動生成財務分析文檔。

（1）數據定向指標分析

S企業對財務數據指標的分析，延續了傳統財務數據分析的概念和計算公式。財務分析的重點在于指標體系的確立，常規包括圖4分析層次樹的各項指標，并根據這些指標的確定，建立了各種分析查詢，如經營指標完成情況、營業收入情況、營業成本及毛利情況、資產情況、負債及凈資產情況等。定向指標的分析方式根據企業的經營管理模式來展開，在設置指標時需要注意的是：

a.指標要素齊全適當。在財務數據分析之初，指標不能隨意確立，指標要素應齊全，要求所設置的財務指標能夠體現企業的盈利能力、經營能力以及償債能力等諸多方面的總體情況。

b.主輔指標功能協調匹配。在建立分析指標的過程中，首先要弄清楚整體結構中指標的主要和輔助狀態；其次，不同類別的主要評估指標應從不同方面和層面反映公司的業務狀況和財務狀況，揭示企業管理的實際表現。

c.滿足多方面財務信息的需求，并為企業管理者提供多層次、多角度的信息，是設置財務分析指標的最終目的。財務分析指標的健全有效，不僅能滿足企業內部管理決策的需求，還能支持政府經濟管理機構實施宏觀調控。

（2）建立分析層次樹

建立分析層次樹可結合決策樹模型（見圖4），根據不同的需求對財務數據進行層層分析。在構建層次樹的時候，要將確立的財務指標體系充分考慮在內。按照廣度優先建立各層分支，通過高低層次之間的概念替換來體現數據的泛化操作，直到每個子結點包含相同的類標志為止。根據財務數據分析的實際需要，可將樹設立為0到多個不同的層次域，最高層為0層即樹的根節點，根據層級的遞進，財務數據分析的內容會更為細致。第一層可分為定量和定性分析，第二層定量可分為盈利情況分析、資產運營分析、成長情況分析、償債能力等，定性可分為有形資產、可持續發展力等。

（3）自動生成分析文檔

數據挖掘的方法力求打破各系統間的數據交換，直接從源頭獲取數據，隨時響應分析需求，實現從事后分析到實時分析。S企業根據建立的分析層次樹的各項指標，運用財務計算方法計算各項指標數據，并將各項分析情況展示在ERP系統中。同時，在進行定向數據度量分析之后，基于各項指標的分析結果，并根據S公司財務分析的格式模板，自動生成S企業的財務分析文檔，財務人員從財務分析平臺上可直接導出文檔格式的財務分析。

S企業實現的財務分析自動化，大大減少了財務人員制作財務分析的工作量，提高了財務分析生成的效率，將財務人員從密集、繁瑣、手動的工作中釋放出來，同時也提高了財務分析數據的準確性和有效性。

（五）實時動態監控預警

傳統財務數據的分析，無論其變化的方式如何，仍然無法擺脫事后評估的內在局限性，并且所獲得的結果不可避免地存在滯后。S企業基于數據挖掘方法，動態實現了對關鍵性指標的跟蹤和預警，運用一定的規則對指標進行實時測算，一旦超出設定的閾值，將會及時作出預警提示。圖5為S企業預警管理模塊的實現流程。

1.財務預警管理平臺

基于數據思維的相關性，財務數據的生成不可避免地受到業務數據的驅動，通過分析出的各種已經存在或即將有可能發生問題的數據，要追本溯源，從源頭分析和解決問題。

S企業建立了財務預警管理平臺，旨在讓財務人員能夠及時發現財務數據中的問題數據，及時推送到業務端核對分析，最終將形成原因及解決措施反饋到財務端，做到每條存在風險或問題的數據有跡可循、有法可依、有方可解。具體的預警有：對往來賬和庫存等科目按照賬齡分析、逾期情況、貶值風險等不同的維度進行數據列示，將到期、逾期、欠款、賬齡、減值等方面的財務數據抓取后制作成數據監控平臺，財務人員在該模塊可直接查詢到超出設定范圍的問題數據，同時經業務反饋的形成原因或解決措施會立即同步到該問題數據的記錄中，顯示在監控平臺中已收到反饋的分類下面，方便財務人員及時查看業務端返回的信息。

2.預警信息自動推送

財務人員在預警管理平臺查詢到的問題數據，可以以兩種方式推送到業務系統中：一是利用分析模型，直接在系統執行定時任務的方法，每天晚上定時批量的將問題數據推送到業務系統；二是財務人員自定義推送，主要針對需要立即解決的問題數據，財務人員查詢到此類數據后可以直接在預警平臺批量點擊推送，將數據推到業務端去。推送數據根據一定的規則分組打包成問題反饋單，例如同公司同業務組的多條數據打包成一張單據，自動從財務系統將數據推送到業務端，該單據的待處理信息會直接在業務系統的首頁顯示，提示業務端發現并處理問題。

3.業務反饋預警模塊

業務系統接收到財務推送的問題數據后，在系統首頁能直接查看問題單的信息，并可穿透到明細單據信息中填寫形成原因和解決措施，經過業務領導的審核后，會自動反饋回財務系統中。同時，業務端可在反饋平臺查詢到已反饋回去的數據情況。

S企業預警模塊的設立，實現了數據信息的有效利用和深度挖掘，為管理決策提供強有力的信息支撐。并且，在加強數據稽核的基礎上，動態實現指標的測算和預警，實現了財務數據監控預警的可視化、流程化和系統化，集內部監控、預警和決策支撐于一身。

（六）財務風險評估

數據挖掘不只是一種分析方法，它本身其實是一個知識發掘的過程。通過對財務數據的分析，不僅可以實現自動化財務分析和動態監控預警，還可以通過分析財務數據來評估財務風險，幫助管理者經營決策之用。

S企業的財務風險評估，建立在財務分析定向指標設立的基礎上，運用決策樹分析的模型進行了風險評估功能的開發。

1.構造風險決策樹

在自動化財務分析的層次樹設立的基礎上，進一步構造風險指標的決策樹，基于相關性的關聯規則，財務分析的層次指標在風險評估中可以充分使用，原理是利用二叉樹的結構來執行數據的統計分析，構造過程通常是：生成一個多層次、多節點的樹，通過構造樹節點以產生一系列子樹，我們可以選擇合適大小的樹來統計分析不同層次的數據（見圖6）。

風險指標的樹結構是財務風險評估實現的基礎，通過設置的風險樹將風險的層級確立下來，按照廣度和深度向外延伸，最終構成風險評估的完整體系。

2.確定指標風險閾值

風險指標構造完成之后，需要確定每個指標達到風險的范圍，在指標閾值設置平臺上，根據企業的經營管理制度要求，財務人員可設置每個風險指標的閾值，當該指標的分析結果超出閾值，則進行建模分析，并顯示該項指標具有財務風險（見圖7）。

3.設置風險層級權值

數據挖掘方法作用于財務風險評估，重點在于打破連續性的財務數據，使其呈現出離散化的分布特點。考慮到財務指標數據在取值方面的差異，根據區間的不同，可基于維度的分解來進一步劃分財務風險指標。

根據樹的構造和修剪過程中每個分支的重要性，確定每個層級對風險樹的影響程度，即每個風險層級的權重。可依據重要性原則對每個指標進行權值分配，該權值的設定目的在于得出綜合風險評估的可量化和可視化結果。在分析財務風險評估的結果時，將風險層級的權值參與計算，一級風險50%、二級風險30%、三級風險20%。在風險評估平臺展示風險各層級的指標分析情況，并根據權值計算出最終風險評估的結果。

（七）數據挖掘方法延伸

S企業根據自動化財務分析、動態監控預警平臺以及風險評估的實現，在ERP系統中擬開發經營駕駛艙平臺。駕駛艙的建立是為了了解企業管理的狀況，并通過駕駛艙了解和深化公司的潛在問題，幫助管理者進行調整。企業經營駕駛艙的本質是將企業財務分析的結果變得更加清晰、直觀。因此，駕駛艙中使用的數據指標也是財務數據分析中的各種財務指標。

構造經營駕駛艙除了基于數據挖掘技術生成的各項財務指標，還需通過BI（商業智能）實現，是基于數據挖掘的延伸。在保證數據準確性的前提下，核心數據通過轉換合并形成數據中心，通過數據中心使用合理的查詢和分析工具，以及數據挖掘技術進行統一的數據分析和處理，成為企業決策者的輔助工具。

四、結束語

在大數據時代，雖然數據挖掘分析技術的運用時間不是很長，但是它在提高企業的商業價值方面起著至關重要的作用，不僅為企業的財務數據分析提供了更準確的數據，還提高了財務人員的工作效率，使財務工作更加便捷。

企業應根據大數據重新定位財務管理的角色，利用數據挖掘分析方法對資金流、風險管理、資源配置等進行深入分析，幫助管理者做出經營決策，同時優化企業的資源分配，為企業創造更大的價值。

主要參考文獻：

[1]陳小莉.基于大數據的計算機數據挖掘技術在檔案管理系統中的研究應用[J].激光，2017（2）：142-145.

[2]趙春.基于數據挖掘技術的財務風險分析與預警研究[D].北京化工大學.

[3]肖明.大數據時代下數據挖掘技術在企業中的應用[J].中國管理信息化，2015，18（2）：58-58.

[4]林琛.關于大數據在財務管理領域中的應用[J].現代經濟信息，2017（16）：186-187.

[5]崔穎.大數據時代下的財務管理創新[D].

[6]朱曉虹.企業財務大數據與財務管理[J].國際商務財會，2018（02），73-75.

[7]孫夢陽.大數據時代企業財務管理信息化建設的研究[J].現代經濟信息，2018（14）：185+187.

[8]肖穎為.數據挖掘技術在企業財務風險評估中的研究應用[D].杭州電子科技大學.

[9]王泓婷.大數據時代下企業財務管理轉型探討[J].國際商務財會，2017（05），77-79.

[10]孫福利.大數據時代的數據挖掘技術與應用[J].電子技術與軟件工程，2018（1）.

[11]周凌.淺析大數據時代的數據挖掘技術與應用[J].中小企業管理與科技（下旬刊），2018，No.540（05）：194-195.