袁輝 趙捷 侯博 李晟飛 韓雪

摘 要：針對當(dāng)前法人和其他組織在國民經(jīng)濟行業(yè)分類中存在效率及準確性不高的問題，提出一套基于BERT-LSTM-CNN國民經(jīng)濟行業(yè)數(shù)據(jù)自動分類標準化流程。首先，通過對統(tǒng)一代碼數(shù)據(jù)進行質(zhì)量評估和調(diào)整，確保輸入數(shù)據(jù)的準確性。其次，使用訓(xùn)練完善的BERT-LSTM-CNN混合模型實現(xiàn)特征抽取，并應(yīng)用自注意力機制與遷移學(xué)習(xí)策略，有效地處理了行業(yè)分類的問題。這一標準化流程不僅為各行業(yè)用戶提供了準確、及時、全面的國民經(jīng)濟行業(yè)分類信息，同時還為決策制定過程提供了堅實的數(shù)據(jù)支撐。

關(guān)鍵詞：法人和其他組織，國民經(jīng)濟行業(yè)分類，標準化流程，深度學(xué)習(xí)

DOI編碼：10.3969/j.issn.1002-5944.2024.05.008

0 引 言

國民經(jīng)濟行業(yè)分類提供了一個結(jié)構(gòu)化的框架用于管理和組織經(jīng)濟活動，其科學(xué)性和系統(tǒng)性有利于更全面、客觀地了解和把握經(jīng)濟活動的宏觀走向與微觀運作。其次，行業(yè)分類可以作為數(shù)據(jù)分析的基礎(chǔ)，為決策者提供了一個可靠的數(shù)據(jù)資源，幫助他們進行可靠的數(shù)據(jù)分析并基于此制定政策。除此之外，行業(yè)分類也可保障利益相關(guān)者的權(quán)益，規(guī)范企業(yè)行為，提升行業(yè)整體質(zhì)量和服務(wù)水平，從而大大提升社會經(jīng)濟效益。因此，法人和其他組織的行業(yè)分類在國民經(jīng)濟中發(fā)揮著不可或缺的角色。

本文旨在基于深度學(xué)習(xí)的文本分類技術(shù)，研發(fā)建立對法人和其他組織進行國民經(jīng)濟行業(yè)分類的標準化流程，實現(xiàn)對目標分類調(diào)整的快速響應(yīng)機制，以有效、持續(xù)地提升統(tǒng)一代碼經(jīng)濟行業(yè)字段的完整率和準確性，最終形成全國所有機構(gòu)的國民經(jīng)濟行業(yè)動態(tài)分布數(shù)據(jù)資源，更好地服務(wù)于統(tǒng)一代碼應(yīng)用部門和社會公眾。

1 文本分類技術(shù)

文本分類是自然語言處理的一項重要任務(wù)，它的目標是根據(jù)語義信息將文本歸入預(yù)先定義的類別之一。在實際應(yīng)用中，文本分類被廣泛應(yīng)用于情感分析[1]、新聞分類[2]、醫(yī)療安全[3]等方面。本文旨在研究使用文本分類技術(shù)提升統(tǒng)一代碼經(jīng)濟行業(yè)字段的完整率和準確性，滿足各應(yīng)用部門和社會公眾的需求。當(dāng)前的文本分類技術(shù)一般可以分為傳統(tǒng)的文本分類模型和基于深度學(xué)習(xí)的文本分類模型兩種。

1.1 傳統(tǒng)的文本分類模型

傳統(tǒng)的文本分類方法主要依賴于基于統(tǒng)計的模型，結(jié)合人工提取的特征進行分類。傳統(tǒng)的文本分類方法包括樸素貝葉斯[4]、支持向量機（SupportVector Machine，SVM）[5]、K最近鄰[6]和隨機森林（Random Forest，RF）[7]等模型。樸素貝葉斯是一種基于貝葉斯定理的簡單概率分類器，它假設(shè)特征之間相互獨立。在處理大量文本數(shù)據(jù)時，樸素貝葉斯具有快速、易于理解和實現(xiàn)的優(yōu)點。然而，其獨立性假設(shè)在現(xiàn)實應(yīng)用中往往不成立，因此對于某些復(fù)雜的問題，樸素貝葉斯的效果可能有所限制。SVM是一種二元線性分類器，它試圖找到一個超平面將不同類別的數(shù)據(jù)分開。SVM具有強大的理論保證，但是在處理大量高維特征時，計算復(fù)雜度可能會上升。邏輯回歸、決策樹和RF等模型也被廣泛應(yīng)用于文本分類。這些模型在處理特定類型的問題，如二元分類問題或包含缺失值的問題上，具有優(yōu)異的效果。

然而，傳統(tǒng)的文本分類方法依賴于人工特征提取，這些特征可能無法充分捕獲文本的全部信息，特別是復(fù)雜的語義和句法關(guān)系。此外，對于大規(guī)模的文本數(shù)據(jù)，例如國民經(jīng)濟行業(yè)數(shù)據(jù)，手工特征提取的方法效率低下，無法滿足大數(shù)據(jù)的需求。

1.2 基于深度學(xué)習(xí)的文本分類

在自然語言處理領(lǐng)域，基于深度學(xué)習(xí)的文本分類模型已經(jīng)成為主流，可以有效處理包括國民經(jīng)濟行業(yè)分類在內(nèi)的多種文本分類問題。這些模型通過自動學(xué)習(xí)和提取文本特征，克服了傳統(tǒng)文本分類方法依賴手動提取特征的局限性。

在深度學(xué)習(xí)模型中，用于文本分類的TextCNN[8]被廣泛引用，也是首個將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[9]引入文本分類的模型，可以自動提取文本序列的局部相關(guān)特征，是早期深度學(xué)習(xí)文本分類的主要模型之一。然而，TextCNN主要關(guān)注詞語層面的信息，較為有限的上下文考慮使得它在捕獲長距離依賴與復(fù)雜語義關(guān)系方面存在一定困難。循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeural Network，RNN）[10]在處理長序列文本信息的領(lǐng)域中顯示出獨特優(yōu)勢。尤其是長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory network，LSTM）[11]的成功應(yīng)用，通過引入門機制解決了傳統(tǒng)RNN模型中的長期依賴問題，顯著提升了文本分類效果。

近年來，自注意力機制的提出，尤其是BERT（Bidirectional Encoder Representation fromTransformers）[12]預(yù)訓(xùn)練模型的成功，對自然語言處理領(lǐng)域產(chǎn)生了深遠影響。這些模型通過對全局上下文信息進行動態(tài)權(quán)重分配，顯著提高了文本理解的精度和效率。相較于傳統(tǒng)的深度學(xué)習(xí)模型，BERT和Transformer等模型在處理如國民經(jīng)濟行業(yè)分類等更為復(fù)雜、多類別的文本分類任務(wù)時，展現(xiàn)出顯著的性能優(yōu)勢。

1.3 法人和其他組織國民經(jīng)濟行業(yè)分類的挑戰(zhàn)

法人和其他組織的國民經(jīng)濟行業(yè)分類，旨在根據(jù)特定的工作內(nèi)容、經(jīng)營性質(zhì)等信息對企業(yè)進行準確歸類。在實施過程中，企業(yè)將根據(jù)國家標準被歸入適合的行業(yè)類別。然而，實際操作過程中存在許多挑戰(zhàn)。

（1）數(shù)據(jù)質(zhì)量與可用性：為準確進行行業(yè)分類，需要依賴于大量準確、全面且高質(zhì)量的標準數(shù)據(jù)。然而，實際環(huán)境中的數(shù)據(jù)可能存在噪聲、缺失信息或分類錯誤，這些問題都可能影響到模型的訓(xùn)練效果，從而降低分類的準確度。

（2）特征選擇與表示：行業(yè)分類需要從豐富的數(shù)據(jù)中提取有效的特征以區(qū)分不同行業(yè)。在某些情況下，特定行業(yè)之間可能存在交叉或模糊的邊界，這使得識別和選擇有效的特征變得尤為困難。

（3）多義性和模糊性的挑戰(zhàn)：在實現(xiàn)行業(yè)分類時，經(jīng)常會遇到同一個企業(yè)在不同的上下文（經(jīng)營范圍描述的信息）或發(fā)展階段（如經(jīng)營范圍變更等）可能歸屬于不同的行業(yè)類別的情況。這種多義性和模糊性可能會導(dǎo)致分類模型的性能下降，甚至產(chǎn)生錯誤的分類結(jié)果。如何設(shè)計和實施一種能有效處理這種多元性的模型，是行業(yè)分類面臨的一個重要挑戰(zhàn)。

為了更好地應(yīng)對這些挑戰(zhàn)，本文提出了一種基于深度學(xué)習(xí)的法人和其他組織的國民經(jīng)濟行業(yè)分類標準化流程，為法人和其他組織的國民經(jīng)濟行業(yè)分類提供了一種全新有效的解決方案，讓行業(yè)分類更加精準，更具可行性。

2 基于深度學(xué)習(xí)的法人和其他組織國民經(jīng)濟行業(yè)分類標準化流程

在構(gòu)建基于深度學(xué)習(xí)的法人和其他組織國民經(jīng)濟行業(yè)分類模型時，可以考慮下述的標準化操作流程，包括數(shù)據(jù)質(zhì)量評估與調(diào)整、特征抽取策略、模型設(shè)計優(yōu)化、系統(tǒng)應(yīng)用。

2.1 數(shù)據(jù)質(zhì)量評估與調(diào)整

在現(xiàn)階段，國民經(jīng)濟行業(yè)數(shù)據(jù)是一個十分寶貴的資源，是理解和分析經(jīng)濟趨勢、制定經(jīng)濟政策的重要依據(jù)。然而，這類數(shù)據(jù)的質(zhì)量和可用性往往會受到一系列問題的影響，比如數(shù)據(jù)噪聲、信息缺失和錯誤分類等。為了更準確地進行行業(yè)分類，必須充分重視并處理這些數(shù)據(jù)問題。首先，數(shù)據(jù)噪聲不僅會干擾對真實狀況的理解，還可能對模型的訓(xùn)練產(chǎn)生負面影響，降低預(yù)測的準確性。因此，本文優(yōu)先實施了數(shù)據(jù)清洗和降噪操作，通過科學(xué)有效的方法，如異常值檢測和濾波技術(shù)，將干擾信息剔除，提升數(shù)據(jù)的質(zhì)量和可用性。其次，補充缺失信息也是十分重要的環(huán)節(jié)。在真實情況中，數(shù)據(jù)源的復(fù)雜性和多樣性往往使得數(shù)據(jù)收集不盡完整，這就需要通過合適的插補方法，如對缺失值進行估計或利用相關(guān)信息進行填充，盡可能將缺失信息進行補充，增強數(shù)據(jù)集的完整性，進一步提高模型的學(xué)習(xí)效果和分類準確度。最后，糾正錯誤分類是確保國民經(jīng)濟行業(yè)分類準確性的重要手段。由于行業(yè)分類涉及的領(lǐng)域廣泛，專業(yè)性強，附帶的復(fù)雜性和多樣性可能引發(fā)錯誤分類。本文引入專家知識庫和重分類手段，結(jié)合深度學(xué)習(xí)模型自我調(diào)修特性，校正錯誤信息，以保證原始數(shù)據(jù)的正確性。

2.2 特征抽取策略

目前，國民經(jīng)濟行業(yè)分類面臨的第二大挑戰(zhàn)是如何從大量且復(fù)雜的數(shù)據(jù)中提取有效的特征，以及如何識別出那些能有效區(qū)分不同行業(yè)的關(guān)鍵特征，這在一些行業(yè)間存在較大交叉或模糊邊界的情況下更具挑戰(zhàn)性。運用深度學(xué)習(xí)技術(shù)有望在國民經(jīng)濟行業(yè)數(shù)據(jù)的特征提取與選擇過程中實現(xiàn)顯著優(yōu)化，不僅能有效地提取出具有區(qū)分力的特征信息，而且可以進一步增強行業(yè)數(shù)據(jù)的表述能力，從而更精準地刻畫各個行業(yè)的細微差別。深度學(xué)習(xí)的核心特點之一就是自動特征學(xué)習(xí)，它可以自動從大量原始數(shù)據(jù)中挖掘出有區(qū)分能力的特征，從而解決人工特征提取的局限性。

在特征抽取階段，本文采用了BERT、LSTM和CNN的組合模式。使用BERT來提取詞義和上下文信息，并將其轉(zhuǎn)換為數(shù)值向量；將LSTM用于處理文本長序列數(shù)據(jù)，捕捉長距離依賴信息；而CNN可以從局部特征提取出行業(yè)數(shù)據(jù)的關(guān)鍵信息。這種組合使得特征的抽取既能考慮到全局信息又不缺失局部的關(guān)鍵特征。在處理行業(yè)間復(fù)雜、模糊邊界的問題上，模型能更好地鑒別出行業(yè)的特性。

2.3 模型優(yōu)化設(shè)計

在現(xiàn)代經(jīng)濟體系中，一個企業(yè)可能在不同的時間，甚至在相同的時間內(nèi)，都存在屬于多個不同行業(yè)的情況。這種現(xiàn)象反映了企業(yè)行業(yè)分類的固有多義性和模糊性，同時也為行業(yè)分類帶來了重大的挑戰(zhàn)，尤其是在構(gòu)建具有泛化能力的深度學(xué)習(xí)模型的過程中。

為了應(yīng)對這一挑戰(zhàn)，本文提出了利用自注意力機制和遷移學(xué)習(xí)的方案。自注意力機制可以使模型自動確定輸入特征之間的相互關(guān)系，從而有助于捕捉到行業(yè)分類中的多元性和模糊性。通過運用自注意力機制，模型能夠?qū)W習(xí)到如何根據(jù)不同的上下文調(diào)整對企業(yè)的行業(yè)歸類。

接下來，利用遷移學(xué)習(xí)來處理企業(yè)在不同行業(yè)之間的流動性。遷移學(xué)習(xí)使得從一個任務(wù)（如某一特定行業(yè)的分類）中學(xué)習(xí)到的知識能夠被應(yīng)用到另一任務(wù)（如另一行業(yè)的分類），這對于企業(yè)在不同行業(yè)之間的流動性的處理尤其重要。

為了實現(xiàn)這一策略，構(gòu)建的數(shù)據(jù)集中應(yīng)涵蓋各類企業(yè)在不同的上下文和發(fā)展階段的數(shù)據(jù)，包括但不限于企業(yè)的企業(yè)名稱、經(jīng)營范圍等。然后利用這些數(shù)據(jù)來訓(xùn)練深度學(xué)習(xí)模型。

2.4 系統(tǒng)應(yīng)用

國民經(jīng)濟行業(yè)數(shù)據(jù)是理解和分析經(jīng)濟趨勢、制定相應(yīng)政策的重要依據(jù)。由于數(shù)據(jù)的多樣性和復(fù)雜性，傳統(tǒng)的分類方法往往無法準確進行分類。因此本文基于BERT-LSTM-CNN深度學(xué)習(xí)模型，實現(xiàn)了一個國民經(jīng)濟行業(yè)數(shù)據(jù)的自動分類標準化流程，主要由數(shù)據(jù)集成、模型集成和功能模塊集成構(gòu)成，如圖1所示。

在數(shù)據(jù)集成階段，對統(tǒng)一代碼數(shù)據(jù)做了全面收集和精準預(yù)處理，還進一步整合了企業(yè)基本信息、經(jīng)營范圍、財務(wù)報告等多源數(shù)據(jù)，形成完整的企業(yè)畫像，完成數(shù)據(jù)預(yù)處理和質(zhì)量評估的工作。

模型集成階段，將訓(xùn)練好的模型加載到數(shù)據(jù)平臺，并與API接口交互。本文利用BERT、LSTM和CNN的混合模式對這些數(shù)據(jù)進行特征抽取，并應(yīng)用自注意力機制與遷移學(xué)習(xí)策略，使模型在處理行業(yè)分類的多義性和模糊性上以及應(yīng)對企業(yè)跨行業(yè)的問題上具有更高的準確度。

功能模塊集成階段包括對企業(yè)的統(tǒng)一代碼數(shù)據(jù)進行行業(yè)分類，基于分類結(jié)果進行數(shù)據(jù)分析，如行業(yè)分布、發(fā)展趨勢、風(fēng)險預(yù)警等，最后通過收集用戶反饋和審核結(jié)果對模型進行持續(xù)優(yōu)化和調(diào)整，進一步增強模型的泛化和應(yīng)用能力。

總結(jié)來說，通過上述標準化流程，可以實現(xiàn)深度學(xué)習(xí)模型與統(tǒng)一代碼數(shù)據(jù)的有效結(jié)合，為各行業(yè)用戶提供準確、及時、全面的國民經(jīng)濟行業(yè)分類信息，助力決策制定和業(yè)務(wù)發(fā)展。同時，通過持續(xù)的數(shù)據(jù)更新和模型優(yōu)化，平臺能夠適應(yīng)經(jīng)濟環(huán)境的變化和行業(yè)分類標準的調(diào)整，保持其服務(wù)的準確性和時效性，為國民經(jīng)濟行業(yè)數(shù)據(jù)的自動分類提供了一種精準、高效且可持續(xù)優(yōu)化的解決方案。

3 結(jié) 語

國民經(jīng)濟行業(yè)分類是行業(yè)分析、決策制定和經(jīng)濟增長策略改進中的重要環(huán)節(jié)。本文將深度學(xué)習(xí)模型與統(tǒng)一代碼數(shù)據(jù)有效結(jié)合，構(gòu)建基于BERTLSTM-CNN國民經(jīng)濟行業(yè)數(shù)據(jù)的標準化流程，為各行業(yè)用戶提供了準確、及時、全面的國民經(jīng)濟行業(yè)分類信息，進一步為決策制定和業(yè)務(wù)發(fā)展提供助力。法人和其他組織國民經(jīng)濟行業(yè)分類標準化流程工作需要不斷深化，以推動其在決策制定等關(guān)鍵領(lǐng)域中發(fā)揮出更大的價值。

參考文獻

[1]陶全檜， 安俊秀， 陳宏松. 基于跨模態(tài)融合E R N I E的多模態(tài)情感分析研究[ J ] .成都信息工程大學(xué)學(xué)報，2022，37（5）：501-507.

[2]楊森淇，段旭良，肖展，等.基于ERNIE+DPCNN+BiGRU的農(nóng)業(yè)新聞文本分類[J].計算機應(yīng)用，2023，43（5）：1461-1466.

[3]許浪，李代偉，張海清，等.基于神經(jīng)網(wǎng)絡(luò)的醫(yī)療文本分類研究[J].計算機工程與科學(xué)，2023，45（6）：1116-1122.

[4]GAO H， ZENG X， YAO C. Application of improved d i s t r i b u t e d n a i v e B a y e s i a n a l g o r i t h m s i n t e x t classification[J]. The Journal of Supercomputing， 2019， 75：5831-5847.

[5]LUO X. Efficient English text classification using selected machine learning techniques[J]. Alexandria Engineering Journal， 2021， 60（3）： 3401-3409.

[6]ZHAO D， HU X， XIONG S， et al. K-means clustering and kNN classification based on negative databases[J]. Applied soft computing， 2021， 110： 107732.

[7]CHEN H， WU L， CHEN J， et al. A comparative study of automated legal text classification using random forests and deep learning[J]. Information Processing & Management，2022， 59（2）： 102798.

[8]DENG J， CHENG L， WANG Z. Attention-based BiLSTM fused CNN with gating mechanism model for Chinese long text classification[J]. Computer Speech & Language， 2021，68： 101182.

[9]A L B AW I S ， M O H A M M E D T A ， A L - Z AW I S .Understanding of a convolutional neural network[C]//2017 international conference on engineering and technology（ICET）. Ieee， 2017： 1-6.

[10]POUYANFAR S， SADIQ S， YAN Y， et al. A survey on deep learning： Algorithms， techniques， and applications[J].ACM Computing Surveys （CSUR）， 2018， 51（5）： 1-36.

[11]CHEN C， DAI J. Mitigating backdoor attacks in lstmbased text classification systems by backdoor keyword identification[J]. Neurocomputing， 2021， 452： 253-262.

[12]L EHE?K A J， ?VEC J， IRCING P， et al. Adjusting BERTs pooling layer for large-scale multi-label text classification[C]//International Conference on Text， Speech，and Dialogue. Cham： Springer International Publishing，2020： 214-221.

作者簡介

袁輝，碩士，高級工程師，研究方向為大數(shù)據(jù)分析和信息技術(shù)標準化。

趙捷，碩士，高級工程師，研究方向為大數(shù)據(jù)治理和信息技術(shù)標準化。

侯博，本科，工程師，研究方向為網(wǎng)絡(luò)安全和信息技術(shù)標準化。

李晟飛，本科，工程師，研究方向為網(wǎng)絡(luò)安全與機器學(xué)習(xí)。

韓雪，碩士，高級工程師，研究方向為統(tǒng)一社會信用代碼相關(guān)標準。

（責(zé)任編輯：袁文靜）