基于機器學習的企業(yè)內審機構組織效能評價研究

吳花平 桂渝鑫

【摘 要】 內審機構作為履行內部審計職能的主要載體，其組織效能能夠綜合地反映企業(yè)內部審計質量。文章在已有研究的基礎上全面分析了內審機構組織效能的影響因素，基于成長性、獨立性、權威性、專業(yè)性、職業(yè)行為和審計環(huán)境六個評價維度，構建了企業(yè)內審機構組織效能評價指標體系。通過調查問卷方式獲取845個有效樣本作為指標數(shù)據(jù)，利用模糊C-均值聚類算法實現(xiàn)組織效能等級標簽的標注，使用決策樹、支持向量機、人工神經(jīng)網(wǎng)絡、隨機森林、極限梯度提升樹和雙層Stacking模型分別構建了企業(yè)內審機構組織效能評價模型，從而探索內審機構組織效能評價的智能化實施路徑。結果顯示，支持向量機模型在樣本數(shù)據(jù)集上具有最佳的效果，根據(jù)特征貢獻度發(fā)現(xiàn)，機構的隸屬關系、人員的專業(yè)勝任能力和對問題整改的推動等指標對內審機構組織效能的影響程度較大。

【關鍵詞】 內部審計； 組織效能； 機器學習

【中圖分類號】 F239.45；TP311.1? 【文獻標識碼】 A? 【文章編號】 1004-5937（2023）05-0126-10

一、引言

黨的二十大報告深刻回答了事關黨和國家事業(yè)發(fā)展的一系列重大理論和實踐問題，這既是新階段審計實務工作的重要遵循，也是審計理論研究的重要指引。審計署副審計長章軻[1]指出，審計領域的從業(yè)者和研究者要認真學習和貫徹黨的二十大精神，并以此助力我國審計工作的高質量發(fā)展。內部審計作為我國三大審計類型之一，是企業(yè)內部控制體系中內部監(jiān)督的重要組成部分，也是企業(yè)全面風險管理體系中保障風險控制有效性的第三道防線（IIA，2021），擔負著監(jiān)督各職能部門業(yè)務活動、促進組織運營效率以及增加企業(yè)經(jīng)濟價值等重要使命[2]。近年來我國企業(yè)為了提高市場核心競爭能力，信息化、數(shù)字化、智能化轉型的腳步不斷加快，由此產生的企業(yè)內、外部環(huán)境劇變給內部審計職能的有效發(fā)揮帶來了嚴峻的挑戰(zhàn)[3]。如何提升內部審計質量，優(yōu)化內審組織機構，進而推動內部審計高質量發(fā)展，助力企業(yè)數(shù)智化轉型以及后疫情時代經(jīng)濟的穩(wěn)步復蘇，已成為亟待解決的重要問題。

二、文獻回顧與研究設計

目前，我國關于內部審計質量的研究主要分為兩個方面。一方面是圍繞內部審計質量的影響因素，如徐政華等（2020）認為提升內部審計質量可以通過營造適應的審計環(huán)境、加強審計人員的專業(yè)素質、重視審計管理以及強化系統(tǒng)協(xié)同等方式實現(xiàn)；劉益男（2022）根據(jù)審計項目實施過程進行分析，提出為把控審計項目過程質量，應當優(yōu)化控制環(huán)境、加強資源保障、完善制度標準；同時，加強審計信息化建設以及完善全方位質量監(jiān)管機制也能夠促進內部審計質量的提升（鄒兵，2022）。

另一方面是關于內部審計質量評價體系的研究，內部審計質量評價是保障和提高內部審計質量的重要措施，科學的評價方法能夠反映真實的內部審計水平，無論是加強高管管理，還是促進內審機構自我優(yōu)化，抑或是保障內部審計協(xié)會和監(jiān)管部門工作的順利開展均具有重要意義[4]。內部審計因其綜合性難以進行全面有效的評價，現(xiàn)有學者從定性和定量兩個層面進行了研究。其中平衡計分卡是運用最廣泛的評價方法之一，如范經(jīng)華[5]通過梳理內部審計質量控制路線，根據(jù)傳統(tǒng)平衡計分卡的四維度劃分構建了內部審計質量評價體系；陳芳[6]則針對醫(yī)院內部審計場景，根據(jù)平衡計分卡的維度劃分思路，構建了包括職能業(yè)績、服務對象、業(yè)務流程管理、學習與成長四個維度的內審績效評價體系。

雖然目前已有不少關于內部審計質量評價的研究，但一定程度上還存在著改進和豐富空間。首先，由于平衡計分卡最初多是用于經(jīng)營性組織的績效評價，因此其中的維度劃分難以有效適配內部審計的評價需求，現(xiàn)有研究在選擇指標時大多受到該框架的限制，容易造成評價體系針對性和系統(tǒng)性不足的問題。其次，評價對象和評價標準存在局限。目前的研究大多將內部審計直接作為研究對象，然而，內部審計的概念相對寬泛，易導致指標選擇相對抽象，進而降低了評價體系在實際運用中的可執(zhí)行性。評價標準則忽視了對審計執(zhí)行范圍以外組織能力的評估，導致評價結果不夠全面，影響評價體系的綜合性與完整性。此外，評價手段單一、缺乏技術支持也是亟待解決的重要問題。現(xiàn)階段內部審計質量評價的實施主要依靠專家或高管的主觀判斷，但由于內部審計往往涉及財務、會計、風險管理、內部控制等多方面的專業(yè)知識，對于評價者的專業(yè)綜合能力提出了較高的要求。同時，大數(shù)據(jù)時代暴增的信息熵也給評價者增添了巨大的誤判風險，然而目前從技術角度出發(fā)嘗試解決此問題的研究還較少。有學者指出機器學習是實現(xiàn)智能化審計的重要工具，能夠為內部審計應對急劇的數(shù)據(jù)增長提供技術保障[7]。陳唯源（2020）運用機器學習算法改進央行內部審計問題管理的不足，實現(xiàn)了對問題標簽的自動化預測，提升了內部審計問題管理的效率。生麗英（2018）運用支持向量機算法模型構建了嵌入式智能持續(xù)審計系統(tǒng)框架，為審計風險預警問題提供了新的解決方案。

基于此，本文提出將內部審計質量評價的對象具體化，以達到提升評價效果與實際應用的目的，而內審機構作為企業(yè)中履行內部審計職能的組織與載體是最佳選擇。評價指標也不應僅局限于對績效和價值的評價，而應以企業(yè)內審機構作為中心，在注重主觀行為評價的同時兼顧客觀能力的衡量。Cameron et al.[8]提出組織效能（Organizational Effectiveness）是組織研究的終極目標，與績效相比，組織效能能夠體現(xiàn)出更高層次的組織內涵[9]。根據(jù)組織行為學派的界定，績效是行為的直接結果，反映的是任務的完成和目標的實現(xiàn)，而組織效能則是對績效基于價值的評判，是組織目標完成情況的綜合體現(xiàn)[10]?？冃戎赜诮M織目標的外在結果，容易導致組織的短視行為，而組織效能的視角更加全面，因此常用于評價企業(yè)組織活動的研究中[11]。

綜上所述，為解決企業(yè)內部審計質量評價效果不佳以及實施困難的問題，本文基于組織效能視角，以企業(yè)內審機構為研究對象，在已有研究成果的基礎上構建企業(yè)內審機構組織效能評價指標體系，并運用層次分析法建立判斷矩陣以獲取各項指標權重，從而優(yōu)化現(xiàn)有的評價體系和評價方法。為豐富評價實施手段，在構建評價體系的基礎上，本文使用多種機器學習算法，分別建立企業(yè)內審機構組織效能評價模型，利用模型評價標準對各模型的效果進行分析和比較，從而尋找出內審機構組織效能評價中效果最佳的機器學習模型以及貢獻度最高的識別特征。由于內審機構是企業(yè)中重要的監(jiān)督與服務部門，內部審計工作往往涉及企業(yè)的重要機密信息，我國目前未有強制性規(guī)定要求企業(yè)披露內部審計的詳細數(shù)據(jù)信息，通過公開數(shù)據(jù)庫難以獲得企業(yè)內部審計具體情況的完整數(shù)據(jù)信息，因此本文選擇通過問卷調查的方式獲取評價指標數(shù)據(jù)。具體研究過程如圖1所示。

三、評價體系的構建

（一）評價要素的識別

組織效能的內涵伴隨著組織理論與社會學的發(fā)展而不斷演變，能夠全面且有效地反映組織在各個方面的實際情況，是評價一個組織目前狀況和未來發(fā)展的重要指標[12]。研究者基于不同的視角對組織效能做了不同的定義，從內部過程視角出發(fā)，研究者認為組織效能是組織內部人員之間的相互作用以實現(xiàn)順暢的組織運動[13]。從外部資源視角出發(fā)，研究者將組織效能定義為組織獲取稀缺和有價值資源以維持正常組織運轉的能力[14]。還有研究者從利益相關者視角[15]、悖論視角[16]等方面對組織效能做出了定義，不同的定義相互區(qū)別也互為補充，全面理解組織效能的定義有助于深入了解組織效能的內涵。根據(jù)學者對組織效能內涵的探討發(fā)現(xiàn)，組織效能圍繞組織目標的實現(xiàn)過程本質上可以分為兩個基本要素，即組織目標完成的能力和組織目標完成的情況?；诖耍疚膹纳鲜鰞蓚€方面對企業(yè)內審機構組織效能的評價要素進行識別，從審計基礎中挖掘企業(yè)內審機構完成目標的能力，從審計執(zhí)行和審計表現(xiàn)中識別企業(yè)內審機構目標完成的情況，如圖2所示。

1.審計基礎不關注審計工作的開展，體現(xiàn)的是內審機構的客觀能力，包括機構設置的情況和所處的審計環(huán)境。對機構設置的識別可以從組織架構、資源配置、人員構成三個方面進行。適當?shù)慕M織結構可以促進組織工作的完成和目標的實現(xiàn)，反之亦然；資源配置是組織執(zhí)行任何活動的物質基礎，反映出組織的受重視程度；人力資源是一個組織的核心資源，組織人員的有機協(xié)同是組織效能產生的源泉。審計環(huán)境可以分為技術環(huán)境、制度環(huán)境和文化環(huán)境。技術環(huán)境關注企業(yè)是否設計、開發(fā)、運用專門的內部審計信息系統(tǒng)；制度是執(zhí)行審計工作的依據(jù)，完善的內部審計制度是形成良好制度環(huán)境的基礎；文化環(huán)境是企業(yè)價值觀和行為準則的具體體現(xiàn)，崇尚誠信、溝通的企業(yè)文化更利于內部審計工作的開展。

2.審計執(zhí)行關注內部審計工作的實施情況，在審計執(zhí)行中，主要關注具體審計過程和對此過程的質量控制手段。審計過程可以從工作范圍、工作方式以及工作強度等方面進行識別。工作范圍從橫向展開，細分為不同類別的審計項目，通常更多的審計類別能夠增強內審機構的組織效能；從縱向展開，審計工作是否連貫和完整，涉及事前預警、事中監(jiān)督及事后評價的全流程審計擁有更高的組織效能?？萍嫉陌l(fā)展使審計的工作方式不斷更迭，大智移云等新技術的應用是內部審計數(shù)智化發(fā)展的必然趨勢[17]。在審計過程中，不同的工作方式將對審計效率和效果產生影響。質量控制是指內審機構為保證審計過程符合準則要求以及實現(xiàn)審計目標而采取的行動，包括人員指導、項目監(jiān)督和底稿復核。人員指導是質量控制最基本的要求，使一線審計人員具備足夠的勝任能力。項目監(jiān)督的目的是加強對下屬各項目組的管理，降低審計錯誤和審計舞弊發(fā)生的可能性，通過提升各項目組的效能實現(xiàn)內審機構總體效能的提升。底稿復核是完成審計工作時重要的質量控制程序，涉及對審計過程中重大事項、審計安排、審計證據(jù)以及其他記錄的檢查。復核人員應當具有足夠的專業(yè)勝任能力、行業(yè)經(jīng)驗和責任感，以保證復核程序的有效。

3.審計表現(xiàn)是審計工作完成后對審計目標完成情況的評判，主要可以從三個角度進行識別。首先是基于結果視角，即內審機構是否完成了賦予其的各項任務，包括是否加強了公司治理水平，降低了委托代理風險；是否對風險管理部門的職責履行情況進行了全面的監(jiān)控，從而防止戰(zhàn)略失敗的可能；是否督促和推動了內控部門對內部控制體系的完善，提升了組織運行效率等。若企業(yè)內審機構能夠充分實現(xiàn)其職能目標，則認為該組織效能水平較高。其次是通過其他部門對內部審計的態(tài)度進行識別，內部態(tài)度與順暢的信息溝通有重要關系；做好內部審計職能的宣傳宣講工作，使被審計者充分了解內部審計的作用機理，能夠減少抵觸情況的發(fā)生；被審計人員的配合意愿是內部態(tài)度最直觀的反映。最后是通過外部相關方對企業(yè)內部審計的態(tài)度進行識別，會計師事務所在進行財務報表審計時會對企業(yè)的內部審計工作進行評價，因此注冊會計師的態(tài)度可以成為參考依據(jù)，監(jiān)管機構的問詢和資本市場的反應也體現(xiàn)企業(yè)內審機構組織效能的情況。

（二）評價指標的選擇

通過對內審機構組織效能影響因素的識別和梳理，依據(jù)組織效能評價范式對各要素進行整理和歸類，最終將企業(yè)內審機構組織效能評價指標體系的一級指標劃分為成長性、獨立性、權威性、專業(yè)性、職業(yè)行為和審計環(huán)境六個評價維度。

1.成長性是描述企業(yè)內審機構未來發(fā)展?jié)摿Φ脑u價指標，持續(xù)發(fā)展的組織相較于停滯不前或正在萎縮的組織具有更大的組織效能，下設四項二級指標：（1）人員絕對增速，計算內審機構上一年度的期末人員數(shù)量較期初人員數(shù)量的變動率；（2）人員相對增速，計算內審機構人數(shù)在企業(yè)總體中，上一年度的期末占比較期初占比的變化率；（3）人員工薪水平，比較上一年度內部審計人員與財務人員的平均薪資水平；（4）機構預算變動，計算內審機構本年度的總體預算較上一年度的變化率。

2.獨立性是內部審計的基本要求，是提升其工作質量，實現(xiàn)其職能目標，發(fā)揮其關鍵作用的必要保證，下設三項二級指標：（1）機構的設立時間，即內審機構正式設立的年度；（2）機構的地位設置，如獨立的職能部門、與財務部門合署辦公、與紀檢部門合署辦公以及與行政管理部門合署辦公等；（3）機構的隸屬關系，如隸屬于董事會、監(jiān)事會、審計委員會或管理層等。

3.權威性是評價內審人員通過對被審計對象的業(yè)務活動實施審計，提出的審計意見和建議具有使人信服的內涵和接受監(jiān)督的程度，下設五項二級指標：（1）機構受重視程度，主要源于企業(yè)高層對內部審計的主觀態(tài)度；（2）審計委員會的設置，首先確定是否設置，若設置，評價是否具備足夠統(tǒng)領內審機構的能力和意愿；（3）機構負責人（CAE）職權，識別機構負責人的工作情況，如是否參與高層會議、與治理層和管理層的交互頻率等；（4）指導性文件的制定，評價內部審計相關文件的數(shù)量和詳細程度；（5）對問題整改的推動，內審機構是否著手建立規(guī)范的審計問題整改流程。

4.專業(yè)性是對內審機構人員能力的衡量，下設四項二級指標：（1）機構負責人（CAE）的能力，從學科背景、工作經(jīng)歷和溝通技巧等方面評價機構負責人專業(yè)勝任能力；（2）人員的專業(yè)勝任能力，從學歷、學科背景和工作經(jīng)驗等方面評價內審人員專業(yè)勝任能力；（3）人員培訓與激勵政策，評價企業(yè)的內部培訓以及出臺的激勵政策是否推動內審人員持續(xù)提高自身專業(yè)技能；（4）對政策法規(guī)的關注，評價內審機構對國家政策法規(guī)變化趨勢的關注程度。

5.職業(yè)行為是刻畫內審人員在工作執(zhí)行過程中是否嚴格依照內部審計準則以及其他相關的規(guī)章制度，并運用掌握的專業(yè)技能高質量地履行確認和咨詢職責，下設六項二級指標：（1）審計委員會履職，包括其聽取匯報情況、例行會議情況以及統(tǒng)籌審批情況；（2）工作實施模式，包括傳統(tǒng)的事后反應模式以及兼具事前防范、事中預警和事后評價為一體的持續(xù)審計模式、敏捷審計模式等；（3）工作覆蓋領域，即根據(jù)審計全覆蓋的要求，判斷內部審計是否對企業(yè)各類活動做到了全面的監(jiān)控；（4）工作開展強度，計算內審人員的周平均工作時長；（5）工作執(zhí)行成果，基于增值性視角，計算內部審計直接減少的經(jīng)濟損失和間接帶來的經(jīng)濟利益；（6）審計對象的評價，較高的評價能夠反映較好的內部審計職業(yè)行為。

6.審計環(huán)境是內部審計賴以生存和發(fā)展的土壤，也是內部審計實現(xiàn)其效用的基礎，下設五項二級指標：（1）內部審計信息系統(tǒng)，信息化、數(shù)字化的審計環(huán)境與傳統(tǒng)手工審計環(huán)境相比能夠大幅提升審計質效；（2）內部審計報告規(guī)范，識別是否制定關于出具內部審計報告的規(guī)范性文件或書寫模板；（3）內部審計職能宣傳，即是否組織開展關于內部審計職能的宣講活動，增加企業(yè)內非內審人員對內部審計的認識和了解；（4）審計對象配合意愿，詢問被審計對象對內部審計的滿意度；（5）良好的企業(yè)文化，評價企業(yè)文化中對誠信、嚴謹、溝通等品質的強調程度。

（三）指標權重的確定

在確定企業(yè)內審機構組織效能的具體評價指標后，需要進一步確定各個指標的權重，層次分析法是目前應用最廣泛的權重確定方法之一，通過成對比較對識別層和指標層的指標兩兩進行對比。本研究采用1—9的標度值來描述比較指標間的重要性差別，數(shù)值越大，重要性程度越高。指標的重要性通過參考歷史文獻，咨詢多位內部審計領域專家、高校教授以及資深從業(yè)者獲得。將重要性對比結果量化為指標判斷矩陣，計算得出一級指標與二級指標的權重，如表1所示。為保證判斷矩陣不存在邏輯性錯誤，利用一致性比率（Consistent Ratio，CR）進行檢驗，企業(yè)內審機構組織效能一級評價指標的判斷矩陣CR值為0.0378，小于0.1；成長性維度、獨立性維度、權威性維度、專業(yè)性維度、職業(yè)行為維度和審計環(huán)境維度的判斷矩陣CR值分別為0.0443、0.0031、0.0715、0.0304、0.0505、0.0093，均小于0.1，一致性檢驗通過，證明權重計算有效。權重結果顯示，一級指標中，獨立性和職業(yè)行為的權重最高，將對內審機構的組織效能產生較大的影響。各一級指標下的二級指標中，權重最高的指標分別為機構預算變動、機構的隸屬關系、機構受重視程度、人員的專業(yè)勝任能力、工作開展強度和內部審計信息系統(tǒng)，即各評價維度的核心指標。

四、特征標簽的選取與驗證

（一）數(shù)據(jù)獲取

本研究參考張慶龍（2013）、蔣峻松（2019）等的做法，通過電子郵件和問卷調查相結合的方式，向國內各行業(yè)領域中的企業(yè)內審機構負責人發(fā)放調查問卷，問卷采取匿名填寫，指標數(shù)據(jù)被設計為李克特五級量表的形式，由于部分問卷題目基于外部視角，因此需要被發(fā)卷人至少邀請一名同企業(yè)中的非內審機構人員共同完成問卷填寫。最終共獲得892份問卷回復，在剔除無效問卷后，獲得有效樣本845份。其中，食品藥品行業(yè)占比最多，為27.9%；其次是機械制造業(yè)，占比20.2%；然后是建筑建材行業(yè)，占比17.8%；其余涉及農林牧漁、交通運輸、紡織皮革、冶金礦業(yè)和金融證券，共占比34.1%。數(shù)據(jù)樣本覆蓋面較廣，具有代表性。使用SPSS 23軟件對數(shù)據(jù)進行最大方差分析、探索性因子分析（EFA）和正態(tài)性檢驗。根據(jù)未加權樣本數(shù)據(jù)的得分計算樣本的整體峰度值為-0.790，偏度值為-0.084，均處于經(jīng)驗數(shù)值邊界內，證明樣本符合正態(tài)分布。根據(jù)量表數(shù)據(jù)計算的整體信度Cronbach α值為0.861，大于經(jīng)驗有效值0.7，6個評價維度的Cronbach α值均大于經(jīng)驗數(shù)值0.6；量表數(shù)據(jù)效度KMO值為0.855，大于經(jīng)驗有效值0.6，顯著性P<0.05，樣本數(shù)據(jù)信效度良好。

（二）數(shù)據(jù)預處理

在機器學習過程中，由于不同組織效能評價指標具有不同的量綱和量綱單位，會對最終的結果產生影響，為了消除評價指標量綱差異的影響，需要對收集的問卷數(shù)據(jù)進行標準化處理，本文采用min-max歸一化方法對845個企業(yè)內審機構組織效能樣本數(shù)據(jù)進行歸一化處理。如式1所示：

y=■（newAmax-newAmin）+

newAmin? （1）

其中，x為轉換前的值，y為轉換后的值，Amin為指標A原始值中的最小值，Amax為指標A原始值中的最大值。最大最小法是將指標A的原始值x映射到區(qū)間[newAmin，newAmax]，得到y(tǒng)，將數(shù)據(jù)限定在一定的范圍內，從而消除了異常樣本數(shù)據(jù)給學習結果帶來的不良影響。

（三）模糊C-均值聚類

模糊C-均值算法（FCM）由貝茲德克（Bezdek）提出，通過引入模糊加權指數(shù)m和聚類中心的隸屬度μ，實現(xiàn)了對應C-均值聚類算法（HCM）的優(yōu)化和改進，是目前應用最廣泛的聚類算法之一[18]，目標函數(shù)為：

L=■■μ■■■? （2）

聚類時首先指定n個聚類中心C，本文參照以往研究將聚類簇確定為五個；其次初始化隸屬度關系矩陣，保證每行μ值之和為1，并設置迭代停止的閾值ε為0.00001；然后進行循環(huán)迭代，不斷更新樣本中的C值與μ值，直至迭代后的目標函數(shù)值與迭代前的目標函數(shù)值之差小于ε則停止迭代，輸出聚類結果。將經(jīng)過預處理的問卷數(shù)據(jù)帶入此流程，從而得到企業(yè)內審機構組織效能等級標簽，具體過程如圖3所示。

（四）標簽驗證

根據(jù)FCM聚類算法對樣本組織效能的劃分，利用傳統(tǒng)加權計分的方式對標簽的有效性進行驗證，基于企業(yè)內審機構組織效能評價指標權重計算各聚類簇的平均分值，按由小到大的順序排列，得分依次為58.86、70.91、80.76、92.13、99.27，分別記為C1簇、C2簇、C3簇、C4簇、C5簇，如圖4所示，分值梯度能明確區(qū)分且跨度分布均勻；再計算各聚類簇的分值標準差并作為誤差線在柱狀圖上標注，C1至C5簇分別為3.37、3.66、3.34、4.17、4.04，顯著低于樣本總體標準差16.30，表明同標簽樣本集中度較好，聚類結果良好。根據(jù)本文的加權計分規(guī)則，分值越低則代表內審機構組織效能水平越高，因此C1至C5簇分別對應組織效能的高水平、較高水平、中等水平、較低水平和低水平。

五、評價模型的構建與分析

（一）建模流程

基于機器學習的企業(yè)內審機構組織效能評價模型原理是通過FCM聚類的方式獲取各樣本的組織效能等級標簽，進而形成完整的“特征+標簽”的樣本數(shù)據(jù)集，本文利用Python編程語言與Jupyter Notebook開發(fā)環(huán)境實現(xiàn)機器學習分類模型的建立和分析，通過交叉比較獲取與組織效能評價適配性最佳的建模算法，最終利用模型實現(xiàn)對企業(yè)內審機構組織效能的智能化評價。具體流程如圖5所示。

按7■3的比例將樣本數(shù)據(jù)集劃分為訓練集和測試集，利用訓練集數(shù)據(jù)進行訓練，其間通過多種參數(shù)調整方法使單模型效果達到最優(yōu)，利用測試集對訓練好的模型效果進行量化評估；最后，由于機器學習算法在不同數(shù)據(jù)集上的表現(xiàn)具有不確定性，最佳模型往往需要通過實踐才能獲取，因此本文分別構建基本分類算法下的決策樹（DT）、支持向量機（SVM）和人工神經(jīng)網(wǎng)絡（ANN）模型，以及集成學習算法下的隨機森林（RF）、極限梯度提升樹（XGBC）和雙層Stacking（STK）模型。其中，雙層Stacking模型利用決策樹、支持向量機和人工神經(jīng)網(wǎng)絡模型作為第一層的初級學習器，選擇穩(wěn)定性較好且結構簡單的邏輯回歸模型作為第二層的元學習器。

（二）評價標準

本文構建的企業(yè)內審機構組織效能評價模型是一個五分類模型，即多分類模型。因此本文將采用基于混淆矩陣得到的準確率、精準度、召回率、F值，以及Kappa系數(shù)和模型耗時來對模型效果進行評估。在機器學習領域，混淆矩陣（Confusion Matrix）是對分類問題預測結果的總結，矩陣的每一行之和表示被模型劃分為此類別的樣本數(shù)量，每一列之和表示此類別實際的樣本數(shù)量，實際判斷類別根據(jù)經(jīng)驗證的FCM聚類標簽確定。基于混淆矩陣，可以獲得上述模型評價指標。

1.準確率（Accuracy）

準確率是指模型預測結果與實際判斷類別相同的樣本數(shù)占總樣本數(shù)的比例，計算公式為：

Accuracy=■? （3）

準確率是從總體層面評價模型預測精度的指標，也是應用最廣泛的模型評價指標，能夠反映模型對測試集樣本判斷正確的能力，數(shù)值越高代表模型效果越好。在實際運用中，該指標對分類預測的細節(jié)關注較少，因此通常需要與其他評價指標配合進行分析。

2.精確率（Precision）

精確率是指模型預測結果與實際判斷相同的樣本數(shù)量占模型預測為此類別總數(shù)量的比例，能夠反映預測結果的正誤情況，即預測的某一類別中有多少實際判斷也為此類別。計算公式為：

Precision（j）=■

（4）

3.召回率（Recall）

召回率是指模型預測結果與實際判斷相同的樣本數(shù)量占實際判斷為此類別總數(shù)量的比例，能夠反映預測結果的漏檢情況，即實際判斷為某一類別的樣本中有多少也被預測為此類別。計算公式為：

Recall（j）=■? （5）

4.F1值

在評估模型效果時，研究者希望同時追求高的精確率和召回率，但在總體準確率變化不大的條件下，該兩項指標往往呈反向變動關系，過度看重其一指標可能會導致另一指標的下降。F值則是同時考慮了精準度和召回率的評價指標，取精確率和召回率的調和平均數(shù)，并引入β值控制兩個指標的重要性程度，本文認為精確率和召回率對于模型同等重要，因此取β值為1，即標準F1值，計算公式為：

F1（j）=■? （6）

5.卡帕系數(shù)（Kappa Coefficient，KC）

卡帕系數(shù)是用于一致性檢驗的評價指標，常常用于衡量模型的分類效果，就多分類問題而言，所謂一致性即預測結果和實際分類是否相同。本文屬于五分類問題，計算公式為：

KC=■? ?（7）

其中：

P0=■? ?（8）

Pe=■? ?（9）

最后，模型耗時也被納入評價指標中，雖然在本文小樣本條件下，模型耗時絕對值較小，相互差別不大，但為了更好地應對實務條件下可能出現(xiàn)的大樣本環(huán)境，本文將測試各算法下模型的建模耗時記作Time_C，以及運行耗時記作Time_R。

（三）參數(shù)尋優(yōu)

模型參數(shù)作為機器學習模型中的重要組成部分，需要在建模過程中進行調整和優(yōu)化，以使模型達到效果。本文利用學習曲線、網(wǎng)格搜索、交叉驗證以及循環(huán)等方式對模型參數(shù)進行調優(yōu)，最終獲得各模型的最優(yōu)參數(shù)組合，如表2所示。

（四）效果比較

利用模型評價標準對基于最優(yōu)參數(shù)組合構建六種企業(yè)內審機構組織效能評價模型進行效果評估。在基本分類算法中，支持向量機模型表現(xiàn)出了最高的準確率92.13%，其次是人工神經(jīng)網(wǎng)絡模型，決策樹模型的準確率與上述兩個模型的差距較大，分別相差11.82%和11.42%。在其他標準的比較中，支持向量機模型和人工神經(jīng)網(wǎng)絡模型的預測結果互有優(yōu)劣，但整體上支持向量機模型略微優(yōu)于人工神經(jīng)網(wǎng)絡模型。

在集成學習算法中，雙層Stacking模型的準確率最高，為91.34%，且相較于隨機森林模型和極限梯度提升樹模型有一定程度的提升，準確率分別提升5.51%和4.73%。各模型的預測結果相互差異小于基本分類算法中各模型的差異，集成學習模型總體波動較小。但值得注意的是，雙層Stacking模型的建模耗時達到4 946.605毫秒，遠遠高于其他所有模型，建模耗時是用時第二的極限梯度提升樹模型的約31倍，是用時最短的決策樹模型的約1 653倍，由于未實現(xiàn)模型效果的大幅提升，因此該模型可能會導致算力的嚴重浪費。

對比兩類算法，基本分類算法和集成學習算法建模后的預測結果互有高低，不存在集成學習算法一定優(yōu)于基本分類算法的情況；在平均準確率上，集成學習算法甚至還略低于基本分類算法，分別為87.9267%與88.0567%。在機器學習模型中，支持向量機、人工神經(jīng)網(wǎng)絡和雙層Stacking模型的效果較好，隨機森林和極限梯度提升樹模型效果其次，決策樹模型預測精度最差。在表現(xiàn)較好的三個模型中，支持向量機模型的各評價指標總體優(yōu)于其他兩個模型的對應值，且建模耗時和運行耗時均為三者最優(yōu)，在實務中可以優(yōu)先選擇該算法進行建模。在支持向量機模型中，特征貢獻度最高的三個特征分別為機構的隸屬關系、人員的專業(yè)勝任能力和對問題整改的推動，即內審機構直接隸屬于審計委員會，審計人員擁有更高、更豐富的專業(yè)背景和從業(yè)經(jīng)驗，以及對審計工作中發(fā)現(xiàn)的問題具有更強的整改推動力三個方面對于提升內審機構組織效能具有重要的意義。各模型的具體評價指標如表3所示。

六、總結與展望

本文通過構建企業(yè)內審機構組織效能評價指標體系，開拓了內部審計質量評價的新視角；利用問卷調查搜集數(shù)據(jù)，構建六種機器學習分類模型并通過比較其在企業(yè)內審機構組織效能評價中的應用效果，發(fā)現(xiàn)基本分類算法和集成學習算法中的各模型效果互有優(yōu)劣，不存在集成學習算法一定優(yōu)于基本分類算法的情況；所有模型中，支持向量機模型的分類效果最佳，準確率達到92.13%，在實務中可以一定程度上輔助或代替人工對內審機構的組織效能進行評價。分析支持向量機模型的特征貢獻度發(fā)現(xiàn)，當企業(yè)將內審機構隸屬于審計委員會之下，組建擁有豐富專業(yè)背景知識和從業(yè)經(jīng)驗的審計人員隊伍以及建立規(guī)范的審計問題整改流程時，內審機構具有更高的組織效能。然而，本文還存在著一些不足，一方面，本研究搜集的用于建模的數(shù)據(jù)量有限，主要是由于內部審計信息的保密性質導致無法從公開數(shù)據(jù)庫獲取大規(guī)模的標準化數(shù)據(jù)，數(shù)據(jù)規(guī)模會對機器學習模型的性能和效果產生直接影響，本文的集成學習模型效果欠佳可能在一定程度上源于數(shù)據(jù)規(guī)模的限制。在后續(xù)的研究中，可以通過增加樣本量的方式提升模型性能，并比較大樣本環(huán)境下不同模型的效果。另一方面，評價指標也存在細化的空間，由于內部審計需要為企業(yè)的經(jīng)營和管理服務，因此處于不同行業(yè)領域的企業(yè)其內部審計工作往往存在較大的差異。本文選取指標時主要考慮較為普遍的內部審計內容，對評價特殊類別的內部審計程序缺少對應指標，在后續(xù)的研究中，可以參考本文構建的評價指標體系，通過引入案例的方式使評價指標得到細化和拓展，從而為我國企業(yè)內部審計的高質量發(fā)展貢獻力量。●

【參考文獻】

［1］ 章軻.認真學習宣傳貫徹黨的二十大精神 奮力譜寫審計理論研究工作新篇章［J］.審計研究，2022（6）：3-7.

［2］ 支曉強，王儲，趙曉紅.國有企業(yè)實現(xiàn)內部審計監(jiān)督全覆蓋的機制和路徑：一個理論框架［J］.會計研究，2021（10）：166-175.

［3］ 劉啟亮，陸開森，李■，等.內部審計與管理層腐?。跩］.審計研究，2022（4）：113-123.

［4］ 閆學文，劉澄，韓錕，等.基于價值導向的內部審計評價體系研究：理論、模型及應用［J］.審計研究，2013（1）：62-69.

［5］ 范經(jīng)華.基于平衡計分卡的內部審計質量控制評價指標體系探討［J］.審計研究，2013（2）：82-89.

［6］ 陳芳.基于BSC的醫(yī)院內部審計績效評價指標體系構建［J］.會計之友，2022（4）：132-136.

［7］ 張慶龍，邢春玉，芮柏松，等.新一代內部審計：數(shù)字化與智能化［J］.審計研究，2020（5）：113-121.

［8］ CAMERON KIM S，DAVID A WHETTEN，et al.Organizational effectiveness：a comparison of multiple models［M］.Academic Press，2013：19-25．

［9］ 何清華，楊德磊，張兵，等.組織效能研究的動態(tài)演化分析——基于內涵與發(fā)展視角研究［J］.軟科學，2015，29（9）：76-80.

［10］ MOTOWILDO S J，BORMAN W C，SCHMIT M J.A theory of individual differences in task and contextual performance［J］.Human Performance，1997，

10（2）：71-83.

［11］ 袁尚南，強茂山，溫祺，等.基于模糊層次分析法的建設項目組織效能評價模型［J］.清華大學學報（自然科學版），2015，55（6）：616-623.

［12］ DAS D.4C model：a new approach to determine and measure organizational effectiveness［Z］.2011.

［13］ GOODMAN P S，SCHOORMAN P，ATKIN R S.Organizational effectiveness as a decision-making process［M］.1979：55-58.

［14］ SEASHORE S E，YUCHTMAN E.Factorial analysis of organizational performance［J］.Administrative Science Quarterly，1967：377-395.

［15］ CONNOLLY T，CONLON E J，DEUTSCH S J.Organizational effectiveness：a multiple-constituency approach［J］.Academy of Management Review，1980，

5（2）：211-218.

［16］ QUINN R E，ROHRBAUGH J.A competing values approach to organizational effectiveness［J］.Public Productivity Review，1981：122-140.

［17］ 張慶龍，何佳楠，顧青青，等.場景審計：數(shù)字化時代商業(yè)銀行內部審計工作模式［J］.審計研究，2021（4）：119-128.

［18］ 武超飛，孫沖，劉廈，等.基于改進FCM聚類的竊電行為檢測［J］.電力科學與技術學報，2021，36（6）：164-170.