基于深度學習的法人和其他組織國民經濟行業分類標準化流程研究

袁輝 趙捷 侯博 李晟飛 韓雪

摘 要：針對當前法人和其他組織在國民經濟行業分類中存在效率及準確性不高的問題，提出一套基于BERT-LSTM-CNN國民經濟行業數據自動分類標準化流程。首先，通過對統一代碼數據進行質量評估和調整，確保輸入數據的準確性。其次，使用訓練完善的BERT-LSTM-CNN混合模型實現特征抽取，并應用自注意力機制與遷移學習策略，有效地處理了行業分類的問題。這一標準化流程不僅為各行業用戶提供了準確、及時、全面的國民經濟行業分類信息，同時還為決策制定過程提供了堅實的數據支撐。

關鍵詞：法人和其他組織，國民經濟行業分類，標準化流程，深度學習

DOI編碼：10.3969/j.issn.1002-5944.2024.05.008

0 引 言

國民經濟行業分類提供了一個結構化的框架用于管理和組織經濟活動，其科學性和系統性有利于更全面、客觀地了解和把握經濟活動的宏觀走向與微觀運作。其次，行業分類可以作為數據分析的基礎，為決策者提供了一個可靠的數據資源，幫助他們進行可靠的數據分析并基于此制定政策。除此之外，行業分類也可保障利益相關者的權益，規范企業行為，提升行業整體質量和服務水平，從而大大提升社會經濟效益。因此，法人和其他組織的行業分類在國民經濟中發揮著不可或缺的角色。

本文旨在基于深度學習的文本分類技術，研發建立對法人和其他組織進行國民經濟行業分類的標準化流程，實現對目標分類調整的快速響應機制，以有效、持續地提升統一代碼經濟行業字段的完整率和準確性，最終形成全國所有機構的國民經濟行業動態分布數據資源，更好地服務于統一代碼應用部門和社會公眾。

1 文本分類技術

文本分類是自然語言處理的一項重要任務，它的目標是根據語義信息將文本歸入預先定義的類別之一。在實際應用中，文本分類被廣泛應用于情感分析[1]、新聞分類[2]、醫療安全[3]等方面。本文旨在研究使用文本分類技術提升統一代碼經濟行業字段的完整率和準確性，滿足各應用部門和社會公眾的需求。當前的文本分類技術一般可以分為傳統的文本分類模型和基于深度學習的文本分類模型兩種。

1.1 傳統的文本分類模型

傳統的文本分類方法主要依賴于基于統計的模型，結合人工提取的特征進行分類。傳統的文本分類方法包括樸素貝葉斯[4]、支持向量機（SupportVector Machine，SVM）[5]、K最近鄰[6]和隨機森林（Random Forest，RF）[7]等模型。樸素貝葉斯是一種基于貝葉斯定理的簡單概率分類器，它假設特征之間相互獨立。在處理大量文本數據時，樸素貝葉斯具有快速、易于理解和實現的優點。然而，其獨立性假設在現實應用中往往不成立，因此對于某些復雜的問題，樸素貝葉斯的效果可能有所限制。SVM是一種二元線性分類器，它試圖找到一個超平面將不同類別的數據分開。SVM具有強大的理論保證，但是在處理大量高維特征時，計算復雜度可能會上升。邏輯回歸、決策樹和RF等模型也被廣泛應用于文本分類。這些模型在處理特定類型的問題，如二元分類問題或包含缺失值的問題上，具有優異的效果。

然而，傳統的文本分類方法依賴于人工特征提取，這些特征可能無法充分捕獲文本的全部信息，特別是復雜的語義和句法關系。此外，對于大規模的文本數據，例如國民經濟行業數據，手工特征提取的方法效率低下，無法滿足大數據的需求。

1.2 基于深度學習的文本分類

在自然語言處理領域，基于深度學習的文本分類模型已經成為主流，可以有效處理包括國民經濟行業分類在內的多種文本分類問題。這些模型通過自動學習和提取文本特征，克服了傳統文本分類方法依賴手動提取特征的局限性。

在深度學習模型中，用于文本分類的TextCNN[8]被廣泛引用，也是首個將卷積神經網絡（Convolutional Neural Network，CNN）[9]引入文本分類的模型，可以自動提取文本序列的局部相關特征，是早期深度學習文本分類的主要模型之一。然而，TextCNN主要關注詞語層面的信息，較為有限的上下文考慮使得它在捕獲長距離依賴與復雜語義關系方面存在一定困難。循環神經網絡（RecurrentNeural Network，RNN）[10]在處理長序列文本信息的領域中顯示出獨特優勢。尤其是長短期記憶網絡（Long Short-Term Memory network，LSTM）[11]的成功應用，通過引入門機制解決了傳統RNN模型中的長期依賴問題，顯著提升了文本分類效果。

近年來，自注意力機制的提出，尤其是BERT（Bidirectional Encoder Representation fromTransformers）[12]預訓練模型的成功，對自然語言處理領域產生了深遠影響。這些模型通過對全局上下文信息進行動態權重分配，顯著提高了文本理解的精度和效率。相較于傳統的深度學習模型，BERT和Transformer等模型在處理如國民經濟行業分類等更為復雜、多類別的文本分類任務時，展現出顯著的性能優勢。

1.3 法人和其他組織國民經濟行業分類的挑戰

法人和其他組織的國民經濟行業分類，旨在根據特定的工作內容、經營性質等信息對企業進行準確歸類。在實施過程中，企業將根據國家標準被歸入適合的行業類別。然而，實際操作過程中存在許多挑戰。

（1）數據質量與可用性：為準確進行行業分類，需要依賴于大量準確、全面且高質量的標準數據。然而，實際環境中的數據可能存在噪聲、缺失信息或分類錯誤，這些問題都可能影響到模型的訓練效果，從而降低分類的準確度。

（2）特征選擇與表示：行業分類需要從豐富的數據中提取有效的特征以區分不同行業。在某些情況下，特定行業之間可能存在交叉或模糊的邊界，這使得識別和選擇有效的特征變得尤為困難。

（3）多義性和模糊性的挑戰：在實現行業分類時，經常會遇到同一個企業在不同的上下文（經營范圍描述的信息）或發展階段（如經營范圍變更等）可能歸屬于不同的行業類別的情況。這種多義性和模糊性可能會導致分類模型的性能下降，甚至產生錯誤的分類結果。如何設計和實施一種能有效處理這種多元性的模型，是行業分類面臨的一個重要挑戰。

為了更好地應對這些挑戰，本文提出了一種基于深度學習的法人和其他組織的國民經濟行業分類標準化流程，為法人和其他組織的國民經濟行業分類提供了一種全新有效的解決方案，讓行業分類更加精準，更具可行性。

2 基于深度學習的法人和其他組織國民經濟行業分類標準化流程

在構建基于深度學習的法人和其他組織國民經濟行業分類模型時，可以考慮下述的標準化操作流程，包括數據質量評估與調整、特征抽取策略、模型設計優化、系統應用。

2.1 數據質量評估與調整

在現階段，國民經濟行業數據是一個十分寶貴的資源，是理解和分析經濟趨勢、制定經濟政策的重要依據。然而，這類數據的質量和可用性往往會受到一系列問題的影響，比如數據噪聲、信息缺失和錯誤分類等。為了更準確地進行行業分類，必須充分重視并處理這些數據問題。首先，數據噪聲不僅會干擾對真實狀況的理解，還可能對模型的訓練產生負面影響，降低預測的準確性。因此，本文優先實施了數據清洗和降噪操作，通過科學有效的方法，如異常值檢測和濾波技術，將干擾信息剔除，提升數據的質量和可用性。其次，補充缺失信息也是十分重要的環節。在真實情況中，數據源的復雜性和多樣性往往使得數據收集不盡完整，這就需要通過合適的插補方法，如對缺失值進行估計或利用相關信息進行填充，盡可能將缺失信息進行補充，增強數據集的完整性，進一步提高模型的學習效果和分類準確度。最后，糾正錯誤分類是確保國民經濟行業分類準確性的重要手段。由于行業分類涉及的領域廣泛，專業性強，附帶的復雜性和多樣性可能引發錯誤分類。本文引入專家知識庫和重分類手段，結合深度學習模型自我調修特性，校正錯誤信息，以保證原始數據的正確性。

2.2 特征抽取策略

目前，國民經濟行業分類面臨的第二大挑戰是如何從大量且復雜的數據中提取有效的特征，以及如何識別出那些能有效區分不同行業的關鍵特征，這在一些行業間存在較大交叉或模糊邊界的情況下更具挑戰性。運用深度學習技術有望在國民經濟行業數據的特征提取與選擇過程中實現顯著優化，不僅能有效地提取出具有區分力的特征信息，而且可以進一步增強行業數據的表述能力，從而更精準地刻畫各個行業的細微差別。深度學習的核心特點之一就是自動特征學習，它可以自動從大量原始數據中挖掘出有區分能力的特征，從而解決人工特征提取的局限性。

在特征抽取階段，本文采用了BERT、LSTM和CNN的組合模式。使用BERT來提取詞義和上下文信息，并將其轉換為數值向量；將LSTM用于處理文本長序列數據，捕捉長距離依賴信息；而CNN可以從局部特征提取出行業數據的關鍵信息。這種組合使得特征的抽取既能考慮到全局信息又不缺失局部的關鍵特征。在處理行業間復雜、模糊邊界的問題上，模型能更好地鑒別出行業的特性。

2.3 模型優化設計

在現代經濟體系中，一個企業可能在不同的時間，甚至在相同的時間內，都存在屬于多個不同行業的情況。這種現象反映了企業行業分類的固有多義性和模糊性，同時也為行業分類帶來了重大的挑戰，尤其是在構建具有泛化能力的深度學習模型的過程中。

為了應對這一挑戰，本文提出了利用自注意力機制和遷移學習的方案。自注意力機制可以使模型自動確定輸入特征之間的相互關系，從而有助于捕捉到行業分類中的多元性和模糊性。通過運用自注意力機制，模型能夠學習到如何根據不同的上下文調整對企業的行業歸類。

接下來，利用遷移學習來處理企業在不同行業之間的流動性。遷移學習使得從一個任務（如某一特定行業的分類）中學習到的知識能夠被應用到另一任務（如另一行業的分類），這對于企業在不同行業之間的流動性的處理尤其重要。

為了實現這一策略，構建的數據集中應涵蓋各類企業在不同的上下文和發展階段的數據，包括但不限于企業的企業名稱、經營范圍等。然后利用這些數據來訓練深度學習模型。

2.4 系統應用

國民經濟行業數據是理解和分析經濟趨勢、制定相應政策的重要依據。由于數據的多樣性和復雜性，傳統的分類方法往往無法準確進行分類。因此本文基于BERT-LSTM-CNN深度學習模型，實現了一個國民經濟行業數據的自動分類標準化流程，主要由數據集成、模型集成和功能模塊集成構成，如圖1所示。

在數據集成階段，對統一代碼數據做了全面收集和精準預處理，還進一步整合了企業基本信息、經營范圍、財務報告等多源數據，形成完整的企業畫像，完成數據預處理和質量評估的工作。

模型集成階段，將訓練好的模型加載到數據平臺，并與API接口交互。本文利用BERT、LSTM和CNN的混合模式對這些數據進行特征抽取，并應用自注意力機制與遷移學習策略，使模型在處理行業分類的多義性和模糊性上以及應對企業跨行業的問題上具有更高的準確度。

功能模塊集成階段包括對企業的統一代碼數據進行行業分類，基于分類結果進行數據分析，如行業分布、發展趨勢、風險預警等，最后通過收集用戶反饋和審核結果對模型進行持續優化和調整，進一步增強模型的泛化和應用能力。

總結來說，通過上述標準化流程，可以實現深度學習模型與統一代碼數據的有效結合，為各行業用戶提供準確、及時、全面的國民經濟行業分類信息，助力決策制定和業務發展。同時，通過持續的數據更新和模型優化，平臺能夠適應經濟環境的變化和行業分類標準的調整，保持其服務的準確性和時效性，為國民經濟行業數據的自動分類提供了一種精準、高效且可持續優化的解決方案。

3 結 語

國民經濟行業分類是行業分析、決策制定和經濟增長策略改進中的重要環節。本文將深度學習模型與統一代碼數據有效結合，構建基于BERTLSTM-CNN國民經濟行業數據的標準化流程，為各行業用戶提供了準確、及時、全面的國民經濟行業分類信息，進一步為決策制定和業務發展提供助力。法人和其他組織國民經濟行業分類標準化流程工作需要不斷深化，以推動其在決策制定等關鍵領域中發揮出更大的價值。

參考文獻

[1]陶全檜， 安俊秀， 陳宏松. 基于跨模態融合E R N I E的多模態情感分析研究[ J ] .成都信息工程大學學報，2022，37（5）：501-507.

[2]楊森淇，段旭良，肖展，等.基于ERNIE+DPCNN+BiGRU的農業新聞文本分類[J].計算機應用，2023，43（5）：1461-1466.

[3]許浪，李代偉，張海清，等.基于神經網絡的醫療文本分類研究[J].計算機工程與科學，2023，45（6）：1116-1122.

[4]GAO H， ZENG X， YAO C. Application of improved d i s t r i b u t e d n a i v e B a y e s i a n a l g o r i t h m s i n t e x t classification[J]. The Journal of Supercomputing， 2019， 75：5831-5847.

[5]LUO X. Efficient English text classification using selected machine learning techniques[J]. Alexandria Engineering Journal， 2021， 60（3）： 3401-3409.

[6]ZHAO D， HU X， XIONG S， et al. K-means clustering and kNN classification based on negative databases[J]. Applied soft computing， 2021， 110： 107732.

[7]CHEN H， WU L， CHEN J， et al. A comparative study of automated legal text classification using random forests and deep learning[J]. Information Processing & Management，2022， 59（2）： 102798.

[8]DENG J， CHENG L， WANG Z. Attention-based BiLSTM fused CNN with gating mechanism model for Chinese long text classification[J]. Computer Speech & Language， 2021，68： 101182.

[9]A L B AW I S ， M O H A M M E D T A ， A L - Z AW I S .Understanding of a convolutional neural network[C]//2017 international conference on engineering and technology（ICET）. Ieee， 2017： 1-6.

[10]POUYANFAR S， SADIQ S， YAN Y， et al. A survey on deep learning： Algorithms， techniques， and applications[J].ACM Computing Surveys （CSUR）， 2018， 51（5）： 1-36.

[11]CHEN C， DAI J. Mitigating backdoor attacks in lstmbased text classification systems by backdoor keyword identification[J]. Neurocomputing， 2021， 452： 253-262.

[12]L EHE?K A J， ?VEC J， IRCING P， et al. Adjusting BERTs pooling layer for large-scale multi-label text classification[C]//International Conference on Text， Speech，and Dialogue. Cham： Springer International Publishing，2020： 214-221.

作者簡介

袁輝，碩士，高級工程師，研究方向為大數據分析和信息技術標準化。

趙捷，碩士，高級工程師，研究方向為大數據治理和信息技術標準化。

侯博，本科，工程師，研究方向為網絡安全和信息技術標準化。

李晟飛，本科，工程師，研究方向為網絡安全與機器學習。

韓雪，碩士，高級工程師，研究方向為統一社會信用代碼相關標準。

（責任編輯：袁文靜）