趙納暉 張?zhí)煅?/p>

【摘 要】 財(cái)務(wù)報(bào)告舞弊是企業(yè)舞弊的手段之一，不僅會(huì)導(dǎo)致會(huì)計(jì)信息失真，而且會(huì)危害經(jīng)濟(jì)的健康發(fā)展，因此，如何克服傳統(tǒng)的人工檢測(cè)和基于數(shù)值指標(biāo)的淺層模型識(shí)別等方法的弊端，找到一種更為高效的智能化識(shí)別方法具有重要的現(xiàn)實(shí)意義。選取2015—2019年間存在舞弊行為的A股上市公司定期報(bào)告，以其中的管理層討論與分析章節(jié)（Management Discussion and Analysis，MD&A）為樣本，同時(shí)確定了規(guī)模相同的控制樣本，通過(guò)實(shí)證研究對(duì)比了深度學(xué)習(xí)模型和以往常用的淺層模型在檢測(cè)財(cái)務(wù)報(bào)告舞弊時(shí)的性能。結(jié)果表明，在規(guī)模對(duì)等的舞弊和非舞弊類(lèi)財(cái)務(wù)報(bào)告組成的文本數(shù)據(jù)集上，深度學(xué)習(xí)模型表現(xiàn)出明顯優(yōu)于基準(zhǔn)模型的分類(lèi)性能。研究結(jié)果為利用MD&A文本數(shù)據(jù)和深度學(xué)習(xí)方法識(shí)別企業(yè)財(cái)務(wù)報(bào)告舞弊的有效性提供了直接的證據(jù)。

【關(guān)鍵詞】 財(cái)務(wù)報(bào)告舞弊識(shí)別; 管理層討論與分析; 文本數(shù)據(jù); 深度學(xué)習(xí); 卷積神經(jīng)網(wǎng)絡(luò)

【中圖分類(lèi)號(hào)】 F239.1? 【文獻(xiàn)標(biāo)識(shí)碼】 A? 【文章編號(hào)】 1004-5937（2022）08-0140-10

一、引言

由于財(cái)務(wù)舞弊可能引發(fā)嚴(yán)重的經(jīng)濟(jì)和社會(huì)問(wèn)題，有效識(shí)別舞弊成為會(huì)計(jì)和財(cái)務(wù)領(lǐng)域的研究熱點(diǎn)。財(cái)務(wù)報(bào)告舞弊因其發(fā)生頻率相對(duì)較低，且通常由行業(yè)內(nèi)具有豐富知識(shí)和從業(yè)經(jīng)驗(yàn)的人實(shí)施，企業(yè)很容易掩蓋這類(lèi)舞弊行為。

2021年《關(guān)于依法從嚴(yán)打擊證券違法活動(dòng)的意見(jiàn)》提出，要依法嚴(yán)厲查處證券違法犯罪案件，加強(qiáng)誠(chéng)信約束懲戒，強(qiáng)化震懾效應(yīng)。上市公司財(cái)務(wù)報(bào)告舞弊現(xiàn)象，嚴(yán)重削弱了財(cái)務(wù)報(bào)告本身的風(fēng)險(xiǎn)預(yù)警作用。相較于耗時(shí)且昂貴的人工檢測(cè)方式，開(kāi)展效率更高的自動(dòng)化和智能化檢測(cè)已成為財(cái)務(wù)報(bào)告舞弊識(shí)別研究的關(guān)鍵問(wèn)題。早期關(guān)于財(cái)務(wù)報(bào)告舞弊智能化識(shí)別的研究大多利用各類(lèi)會(huì)計(jì)和財(cái)務(wù)指標(biāo)預(yù)測(cè)企業(yè)的舞弊行為，而現(xiàn)實(shí)的金融市場(chǎng)中充斥著各種復(fù)雜的模式，僅靠一些數(shù)值指標(biāo)構(gòu)建的識(shí)別模型，其預(yù)測(cè)性能是相對(duì)局限的。因此，之后的研究開(kāi)始逐步重視文本信息對(duì)于識(shí)別財(cái)務(wù)舞弊的作用，相當(dāng)數(shù)量的研究也已證實(shí)利用定期報(bào)告中的管理層討論與分析章節(jié)（Management Discussion and Analysis，MD&A）能夠發(fā)掘部分財(cái)務(wù)報(bào)告舞弊現(xiàn)象[1]。

在已有研究中，利用機(jī)器學(xué)習(xí)模型對(duì)文本數(shù)據(jù)進(jìn)行分類(lèi)預(yù)測(cè)的方法較為流行。但傳統(tǒng)的機(jī)器學(xué)習(xí)模型，也稱(chēng)“淺層模型”，在處理文本信息時(shí)需要借助先驗(yàn)知識(shí)人工提取樣本特征，這種方式對(duì)數(shù)據(jù)含義的表達(dá)能力較弱。為了充分利用文本數(shù)據(jù)的價(jià)值，對(duì)能夠更高效地提取和利用文本信息算法的需求愈加強(qiáng)烈。深度學(xué)習(xí)模型作為機(jī)器學(xué)習(xí)的另一種范式，能夠自動(dòng)實(shí)現(xiàn)特征的多次提取和變換，以實(shí)現(xiàn)數(shù)據(jù)更高層次的抽象表示，從而彌補(bǔ)了淺層模型的不足[2]。

基于此，本文采用了一種字符級(jí)卷積神經(jīng)網(wǎng)絡(luò)[3]的深度學(xué)習(xí)算法，并結(jié)合上市公司定期報(bào)告中的MD&A文本，構(gòu)建了識(shí)別財(cái)務(wù)報(bào)告舞弊的智能化模型。研究收集了2015—2019年的上市公司舞弊樣本以及同樣規(guī)模的控制樣本，利用詞嵌入層將MD&A中的文本轉(zhuǎn)換為特征矩陣，以識(shí)別具有舞弊性質(zhì)的財(cái)務(wù)報(bào)告。同時(shí)，為了比較不同模型的預(yù)測(cè)性能，研究還選取了部分統(tǒng)計(jì)學(xué)模型和淺層模型作為基準(zhǔn)模型。結(jié)果表明，深度學(xué)習(xí)模型利用MD&A文本識(shí)別上市公司財(cái)務(wù)報(bào)告舞弊的性能明顯優(yōu)于基準(zhǔn)模型。本文的貢獻(xiàn)在于，不同于以往基于淺層模型的研究，本文引入了人工智能領(lǐng)域興起的深度學(xué)習(xí)技術(shù)，以構(gòu)建檢測(cè)舞弊的智能化模型;此外，研究還證明了財(cái)務(wù)報(bào)告這種可得性和可靠性更強(qiáng)的文本數(shù)據(jù)同樣具備識(shí)別企業(yè)舞弊行為的價(jià)值，可以為舞弊識(shí)別及相關(guān)研究提供新的數(shù)據(jù)支持。

二、文獻(xiàn)綜述

早期針對(duì)財(cái)務(wù)報(bào)告舞弊識(shí)別的研究集中在對(duì)舞弊影響因素和信號(hào)的識(shí)別上，并利用統(tǒng)計(jì)學(xué)模型發(fā)現(xiàn)違規(guī)披露行為[4]，但這種方法取得的成果相當(dāng)有限，可能和在選取與舞弊相關(guān)的財(cái)務(wù)指標(biāo)時(shí)存在一定的主觀性有關(guān)。之后，數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等智能化模型的應(yīng)用成為舞弊識(shí)別研究的一個(gè)新趨勢(shì)。與統(tǒng)計(jì)學(xué)方法相比，智能化識(shí)別模型對(duì)數(shù)據(jù)的假設(shè)更少，且支持非線性決策，這些特征提高了模型的可塑性和分類(lèi)性能，也使得此類(lèi)模型很快得到了廣泛的應(yīng)用[5]。

起初的智能化模型普遍采用數(shù)值指標(biāo)，其樣本屬性有限，且選取過(guò)程存在較強(qiáng)的主觀性，嚴(yán)重限制了模型的預(yù)測(cè)性能。因此，研究人員開(kāi)始更多地關(guān)注文本這類(lèi)具有復(fù)雜性和隱藏性的非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)提取文本的特征以判斷它們是否能夠作為識(shí)別財(cái)務(wù)報(bào)告舞弊的信息來(lái)源[6]。由于財(cái)務(wù)報(bào)告的MD&A部分由企業(yè)的管理團(tuán)隊(duì)使用通用且正式的商業(yè)語(yǔ)言編輯而成，涵蓋了對(duì)企業(yè)的財(cái)務(wù)狀況、經(jīng)營(yíng)成果和前瞻性聲明等內(nèi)容的討論，也被大多數(shù)研究用作識(shí)別財(cái)務(wù)報(bào)告舞弊的文本來(lái)源[7]。本章節(jié)之后的內(nèi)容主要討論基于數(shù)值和文本數(shù)據(jù)以及各類(lèi)智能化模型識(shí)別財(cái)務(wù)報(bào)告舞弊的研究。

（一）基于數(shù)值數(shù)據(jù)的智能化財(cái)務(wù)報(bào)告舞弊識(shí)別

目前基于數(shù)值數(shù)據(jù)的智能化財(cái)務(wù)報(bào)告舞弊識(shí)別模型主要基于淺層模型和數(shù)據(jù)挖掘模型構(gòu)建，包括神經(jīng)網(wǎng)絡(luò)、決策樹(shù)、隨機(jī)森林、進(jìn)化算法、支持向量機(jī)和混合方法等。

神經(jīng)網(wǎng)絡(luò)主要涉及BP神經(jīng)網(wǎng)絡(luò)、概率神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)處理組合算法、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)和生長(zhǎng)分層自組織映射網(wǎng)絡(luò)。決策樹(shù)包括單個(gè)決策樹(shù)和決策樹(shù)的集合，如隨機(jī)森林。盡管決策樹(shù)和隨機(jī)森林模型可以處理舞弊檢測(cè)問(wèn)題中的非線性特征，但訓(xùn)練過(guò)程中容易出現(xiàn)過(guò)擬合的問(wèn)題，即識(shí)別模型的泛化性能普遍較差。進(jìn)化算法（如遺傳規(guī)劃和螢火蟲(chóng)算法）也被用于輔助決策樹(shù)模型的設(shè)計(jì)和訓(xùn)練。支持向量機(jī)能夠通過(guò)線性分類(lèi)的方式解決財(cái)務(wù)報(bào)告舞弊識(shí)別這一復(fù)雜的非線性問(wèn)題，而不需要增加計(jì)算的復(fù)雜度。然而，在處理噪聲較多的數(shù)據(jù)集時(shí)，支持向量機(jī)可能表現(xiàn)出性能不佳的問(wèn)題。混合方法是利用多種模型的優(yōu)勢(shì)組合而成的新模型，在針對(duì)特定的問(wèn)題域時(shí)能夠表現(xiàn)出優(yōu)于單個(gè)模型的分類(lèi)性能。表1按照時(shí)間順序總結(jié)了基于數(shù)值數(shù)據(jù)實(shí)現(xiàn)智能化財(cái)務(wù)報(bào)告舞弊識(shí)別的研究。

（二）基于文本數(shù)據(jù)的財(cái)務(wù)報(bào)告舞弊智能化識(shí)別

目前研究所采用的文本主要包括企業(yè)披露的定期報(bào)告、新聞、金融社交媒體平臺(tái)的用戶(hù)生成內(nèi)容（User-Generated Content，UGC）以及各類(lèi)利益相關(guān)者提出的關(guān)于企業(yè)經(jīng)營(yíng)情況以及公開(kāi)披露信息的分析和討論等。其中，新聞、社交媒體和各類(lèi)利益相關(guān)者產(chǎn)生的數(shù)據(jù)包含較多噪音，而企業(yè)披露的定期報(bào)告則具有更易于處理的結(jié)構(gòu)和更可靠的來(lái)源，且其中包含很多具有誤導(dǎo)性陳述的語(yǔ)言變量可以作為識(shí)別企業(yè)舞弊的依據(jù)，因而被很多研究用作識(shí)別財(cái)務(wù)報(bào)告舞弊的直接證據(jù)[16]。

在利用文本識(shí)別舞弊性的財(cái)務(wù)報(bào)告時(shí)，需要對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理。由于淺層模型不進(jìn)行或只進(jìn)行一次特征選擇的局限，必須借助有效的文本表示方法單獨(dú)提取文本特征，以保證下游模型的識(shí)別性能。目前研究中應(yīng)用的文本表示方法大致可以分為兩類(lèi)：第一類(lèi)是對(duì)某些關(guān)鍵詞、關(guān)鍵詞元組或詞匯和句子特征等的統(tǒng)計(jì)描述。例如文本的情感分析，利用語(yǔ)言模型構(gòu)建的文本分析框架和基于詞匯多樣性和句法復(fù)雜度等語(yǔ)言特征實(shí)現(xiàn)對(duì)文本數(shù)據(jù)的量化處理等。第二類(lèi)是基于某類(lèi)算法實(shí)現(xiàn)特定的文本格式。主要的算法類(lèi)別有：（1）詞袋模型，即一種預(yù)先定義的單詞列表，能夠表示財(cái)務(wù)報(bào)告的負(fù)面性、不確定性和訴訟性的單詞列表通常與企業(yè)的舞弊行為之間存在關(guān)聯(lián);（2）主題模型，例如LDA（Latent Dirichlet Allocation）模型，在企業(yè)舞弊的研究中常被用來(lái)提取財(cái)務(wù)報(bào)告的語(yǔ)義主題;（3）TF-IDF（Term Frequency-Inverse Document Frequency）算法，該算法能夠?qū)崿F(xiàn)詞語(yǔ)級(jí)的文本特征提取，并基于詞語(yǔ)權(quán)重形成的詞向量集合表示文本集合。表2按照時(shí)間順序總結(jié)了基于文本數(shù)據(jù)實(shí)現(xiàn)智能化財(cái)務(wù)報(bào)告舞弊識(shí)別的研究。

（三）文獻(xiàn)評(píng)述

在對(duì)已有文獻(xiàn)的綜述中，有三點(diǎn)內(nèi)容值得關(guān)注。首先，大多數(shù)研究運(yùn)用的智能化識(shí)別方法對(duì)數(shù)據(jù)的假設(shè)更小，且允許非線性決策邊界，這些特性提高了模型的靈活性和分類(lèi)性能;其次，單純使用數(shù)值指標(biāo)構(gòu)建智能化預(yù)測(cè)模型的局限性愈發(fā)突出，更多的學(xué)者開(kāi)始關(guān)注文本這類(lèi)來(lái)源廣泛且數(shù)據(jù)量龐大，同時(shí)包含更多樣本屬性的非結(jié)構(gòu)化數(shù)據(jù);最后，對(duì)于財(cái)務(wù)報(bào)告舞弊的檢測(cè)，淺層模型和數(shù)據(jù)挖掘算法只能利用數(shù)據(jù)集中存在的顯式屬性，卻很難發(fā)掘同樣存在的其他形式的隱藏屬性。而文本數(shù)據(jù)恰恰包含較多隱藏的屬性和模式，需要進(jìn)一步探求更為有效的智能化識(shí)別方法。

對(duì)比淺層模型，深度學(xué)習(xí)模型的結(jié)構(gòu)更為復(fù)雜，能更好地發(fā)掘數(shù)據(jù)集中存在的特征。而目前，基于文本數(shù)據(jù)識(shí)別財(cái)務(wù)報(bào)告舞弊的研究則是由淺層模型和數(shù)據(jù)挖掘模型占據(jù)主導(dǎo)地位，鮮有基于深度學(xué)習(xí)模型的探索。因此，本文的研究基于文本數(shù)據(jù)和深度學(xué)習(xí)算法構(gòu)建識(shí)別財(cái)務(wù)報(bào)告舞弊的智能化模型，試圖探究人工智能技術(shù)是否能更有效地挖掘和利用MD&A文本中預(yù)示企業(yè)舞弊行為的潛在信號(hào)，以識(shí)別財(cái)務(wù)報(bào)告舞弊，進(jìn)而檢驗(yàn)深度學(xué)習(xí)方法在財(cái)務(wù)報(bào)告舞弊識(shí)別研究中的應(yīng)用價(jià)值。

三、數(shù)據(jù)選取和樣本來(lái)源

我國(guó)上市公司各級(jí)監(jiān)管機(jī)構(gòu)的公開(kāi)披露是判定上市公司是否存在舞弊行為最客觀和有效的依據(jù)之一。一方面，研究依據(jù)中國(guó)證監(jiān)會(huì)、上海證券交易所、深圳證券交易所和地方證監(jiān)局對(duì)上市公司的處罰報(bào)告和收錄這些披露文件的CSMAR數(shù)據(jù)庫(kù)，并按照CSMAR數(shù)據(jù)庫(kù)對(duì)處罰公告的分類(lèi)，選取其中涉及虛構(gòu)利潤(rùn)、虛列資產(chǎn)、虛假記載、重大遺漏、披露不實(shí)和一般會(huì)計(jì)處理不當(dāng)六類(lèi)定期報(bào)告舞弊行為的公告確定為舞弊樣本。另一方面，由于2015年之前的部分定期報(bào)告將MD&A合并在董事會(huì)報(bào)告一節(jié)中未單獨(dú)披露，研究將2015年作為選取舞弊樣本的時(shí)間起點(diǎn)。據(jù)此，本文選取了2015—2019年存在上述舞弊行為的上市公司定期報(bào)告（包含具有MD&A章節(jié)的年度報(bào)告和半年度報(bào)告）共計(jì)454份。同時(shí)，為了保證控制樣本與舞弊樣本具有相同的規(guī)模，研究還依據(jù)中國(guó)社會(huì)科學(xué)院金融研究所等在2015—2018年發(fā)布的《中國(guó)上市公司質(zhì)量評(píng)價(jià)報(bào)告》和報(bào)告中的上市公司價(jià)值管理能力排名，以及恒大研究院發(fā)布的《中國(guó)上市公司質(zhì)量報(bào)告：2019》中的合規(guī)質(zhì)量，選取每年排名前45的上市公司作為控制樣本，得到半年度報(bào)告和年度報(bào)告共計(jì)450份。

圖1總結(jié)了研究的分析過(guò)程，包括文本數(shù)據(jù)的選取、文本預(yù)處理、樣本特征提取、模型構(gòu)建和結(jié)果評(píng)估5個(gè)部分。

四、模型構(gòu)建

文本分類(lèi)是自然語(yǔ)言處理（Natural Language Processing，NLP）領(lǐng)域的一個(gè)經(jīng)典問(wèn)題，具體指按照事先定義好的主題類(lèi)別來(lái)劃分?jǐn)?shù)據(jù)集中每個(gè)文本的類(lèi)別。研究參考Zhang et al.[3]提出的字符級(jí)卷積神經(jīng)網(wǎng)絡(luò)，利用上市公司財(cái)務(wù)報(bào)告中的MD&A文本，構(gòu)建了一種通過(guò)文本分類(lèi)方式識(shí)別舞弊性財(cái)務(wù)報(bào)告的智能化模型，并選取了部分統(tǒng)計(jì)學(xué)模型和淺層模型作為基準(zhǔn)模型，以對(duì)比不同模型的分類(lèi)性能。

對(duì)于輸入深度學(xué)習(xí)模型和基準(zhǔn)模型的MD&A文本，研究采用了不同的文本預(yù)處理流程，尤其是根據(jù)淺層模型和深度學(xué)習(xí)模型各自的特點(diǎn)選取了不同的文本表示方法，以盡可能提升下游模型的分類(lèi)性能。后面將詳細(xì)闡述深度學(xué)習(xí)模型和基準(zhǔn)模型各自的文本預(yù)處理方法，以及深度學(xué)習(xí)模型的具體架構(gòu)和實(shí)現(xiàn)。對(duì)于基準(zhǔn)模型，本文只進(jìn)行簡(jiǎn)要的介紹。

（一）深度學(xué)習(xí)模型

深度學(xué)習(xí)模型的設(shè)計(jì)過(guò)程主要分為兩個(gè)階段：一是文本的預(yù)處理;二是模型的構(gòu)建。

1.文本預(yù)處理

深度學(xué)習(xí)模型的文本預(yù)處理主要包括兩個(gè)步驟：一是數(shù)據(jù)集類(lèi)別的劃分;二是文本字符的初步量化。

大多數(shù)基于智能化模型的財(cái)務(wù)預(yù)測(cè)研究采用了二分法的方式，即將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，其中訓(xùn)練集通常占80%，測(cè)試集占20%。為了盡可能避免訓(xùn)練階段產(chǎn)生的模型出現(xiàn)過(guò)擬合的問(wèn)題，研究增加了驗(yàn)證集的劃分。同時(shí)，為了保持?jǐn)?shù)據(jù)劃分的一致性，避免因數(shù)據(jù)劃分過(guò)程中存在額外偏差而影響最終的結(jié)果，參照機(jī)器學(xué)習(xí)研究對(duì)小樣本集（樣本總數(shù)通常小于10 000）的劃分慣例，本文按照 的比例將MD&A文本集劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集，且每類(lèi)數(shù)據(jù)集都保持舞弊類(lèi)和非舞弊類(lèi)的樣本數(shù)量對(duì)等。

樣本在劃分為不同類(lèi)別的數(shù)據(jù)集后還需要經(jīng)過(guò)進(jìn)一步的預(yù)處理：首先，去除了MD&A文本中的數(shù)字、字母、標(biāo)點(diǎn)符號(hào)和一些特殊符號(hào)。這種對(duì)文本信息的過(guò)濾也是NLP中常用的方法，有助于降低下游分類(lèi)模型的維數(shù)。其次，字符的編碼過(guò)程需要為輸入模型的文本構(gòu)建一個(gè)固定規(guī)模為m的詞匯表，并采用整數(shù)對(duì)表中的每個(gè)字符進(jìn)行量化，每個(gè)整數(shù)表示一個(gè)字符的ID。詞匯表通常需要覆蓋文本所包含的95%的詞匯，考慮到研究所采用的文本的字符數(shù)量，本文將m的大小設(shè)置為3 000，詞匯表會(huì)優(yōu)先量化高頻字符，在達(dá)到固定規(guī)模3 000后其余的字符將被作為低頻字符過(guò)濾掉。最后，利用詞匯表將文本表示為字符的ID列表。此時(shí)，每篇MD&A文本序列的長(zhǎng)度需要固定為l。這是因?yàn)橛糜谟?xùn)練卷積神經(jīng)網(wǎng)絡(luò)的張量（即表示為多維數(shù)組的數(shù)據(jù)，由詞匯表量化的文本序列再經(jīng)過(guò)詞嵌入層的處理得到）必須由相同維數(shù)的矩陣組成，而每篇文本的長(zhǎng)度不同，因此需要截?cái)噍^長(zhǎng)的文本，同時(shí)向較短的文本添加零，這種操作也被稱(chēng)為填充。研究將文本的固定長(zhǎng)度l設(shè)置為5 000。此外，不在詞匯表中的字符也將被量化為零。

2.基于詞嵌入的文本表示

文本表示是NLP中的一個(gè)核心任務(wù)，現(xiàn)有的表示方法主要有離散形式的符號(hào)表示和分布式表示兩種形式。詞嵌入屬于詞語(yǔ)的一種分布式表示形式，能夠?qū)⒃~語(yǔ)映射到一個(gè)數(shù)十或數(shù)百維度的實(shí)值向量中，并盡可能保留原始數(shù)據(jù)的屬性。這種方法能更好地衡量詞語(yǔ)之間的距離（即語(yǔ)義的相似性，距離上更接近的詞語(yǔ)便被賦予類(lèi)似的表示），以便在顯著降低文本和下游模型維度的同時(shí)更好地理解文本的底層語(yǔ)義。

研究以截取自MD&A部分的語(yǔ)句為例，詳細(xì)說(shuō)明基于詞嵌入的文本表示方法，具體過(guò)程可以分為4個(gè)步驟，結(jié)果如圖2所示。第一，根據(jù)研究構(gòu)建的詞匯表，“強(qiáng)化公司內(nèi)部管理”被轉(zhuǎn)換為8個(gè)整數(shù)ID構(gòu)成的句向量，n1至n8分別表示字符在詞匯表中對(duì)應(yīng)的整數(shù)。第二，整數(shù)ID構(gòu)成的句向量被進(jìn)一步轉(zhuǎn)換為獨(dú)熱編碼表示的8×m的矩陣。獨(dú)熱編碼使用稀疏的高維向量表示每個(gè)字符（維度等于詞匯表的規(guī)模m），該向量除第ni列（i=1，2，…，8）為1外，其余列均為0。第三，詞嵌入層需要訓(xùn)練一個(gè)m×d的系數(shù)矩陣，d為語(yǔ)句最終嵌入的向量空間的維度。系數(shù)矩陣的參數(shù)aij（i=1，2，…，m;j=1，2，…，d）由隨機(jī)初始化生成，通過(guò)神經(jīng)網(wǎng)絡(luò)模型和反向傳播算法進(jìn)行訓(xùn)練與更新。第四，獨(dú)熱編碼表示的語(yǔ)句矩陣輸入詞嵌入層后，經(jīng)過(guò)系數(shù)矩陣的變換（矩陣相乘），最終被映射到一個(gè)8×d的向量空間中，表示為一個(gè)8×d的文本特征矩陣。通過(guò)詞嵌入的處理，8個(gè)字符都被表示成維度為d的向量，每個(gè)維度θij（i=1，2，…，8;j=1，2，…，d）則表示由-1到1之間的具體數(shù)值構(gòu)成的特征值。

研究在卷積神經(jīng)網(wǎng)絡(luò)的前端構(gòu)建了詞嵌入層，每個(gè)由整數(shù)ID表示的字符構(gòu)成且長(zhǎng)度為l的文本向量在輸入詞嵌入層后被映射到一個(gè)l×d的向量空間中。向量空間的維度d屬于模型的參數(shù)，經(jīng)過(guò)多次訓(xùn)練和優(yōu)化，本文將這一參數(shù)設(shè)置為64。詞嵌入層通過(guò)自訓(xùn)練的方式實(shí)現(xiàn)，更利于針對(duì)特定數(shù)據(jù)和分類(lèi)任務(wù)。

3.字符級(jí)的卷積神經(jīng)網(wǎng)絡(luò)

本文采用了一種基于字符層面建模的卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取文本的高層抽象概念，具體架構(gòu)如圖3所示，包括詞嵌入層、卷積層、池化層、全連接層以及輸出層。卷積神經(jīng)網(wǎng)絡(luò)的核心思想是訓(xùn)練多個(gè)卷積核通過(guò)卷積操作來(lái)檢測(cè)樣本的局部特征。在本文的研究中，這些局部特征可能是識(shí)別財(cái)務(wù)報(bào)告舞弊的關(guān)鍵。

經(jīng)過(guò)詞嵌入層處理得到的文本特征矩陣T∈Rt×d首先被輸入卷積層（l為文本的固定長(zhǎng)度，d為向量空間的維度）。卷積核C∈Rh×d的行數(shù)h（即長(zhǎng)度）為5，列數(shù)d與文本特征矩陣的維度同為64。每個(gè)卷積核都會(huì)從上到下依次與5行64列的文本矩陣塊做卷積操作，卷積核每次下移的幅度為步長(zhǎng)1。每次卷積操作得到的特征可以表示為：

其中，Ti：i+h-1表示由第i個(gè)到第i+h-1個(gè)字符向量組成的文本矩陣塊，b為偏置項(xiàng)，f（x）為ReLU激活函數(shù)。每個(gè)卷積核通過(guò)卷積計(jì)算共能得到l-h+1個(gè)特征，由此組成的特征圖可以表示為：

研究共構(gòu)建了256個(gè)卷積核，因此能夠得到256張?zhí)卣鲌D。

卷積層提取的特征圖依然具有較高的維度，需要經(jīng)過(guò)池化層的處理，以進(jìn)一步提取特征和過(guò)濾文本信息。研究采用全局最大池化的方法，以每張?zhí)卣鲌D為單位，通過(guò)選取其中最大的特征值并舍棄其他特征值的方式再一次實(shí)現(xiàn)局部特征的提取。

池化層從每張?zhí)卣鲌D中提取的局部特征會(huì)輸入全連接層進(jìn)行非線性組合。研究對(duì)全連接層的神經(jīng)元進(jìn)行了隨機(jī)失活（Dropout）處理，即在每輪迭代的過(guò)程中隨機(jī)使一部分神經(jīng)元失活（比例設(shè)置為0.5），從而減少特征的冗余，防止模型出現(xiàn)過(guò)擬合問(wèn)題。此外，研究還采用ReLU（Rectified Linear Unit）激活函數(shù)對(duì)全連接層神經(jīng)元輸出的結(jié)果進(jìn)行非線性變換。

最終，由softmax分類(lèi)器構(gòu)成的輸出層會(huì)根據(jù)全連接層輸入的結(jié)果生成每個(gè)樣本的分類(lèi)標(biāo)簽（舞弊和非舞弊），從而完成文本分類(lèi)的過(guò)程。

4.模型的具體實(shí)現(xiàn)

研究基于TensorFlow的架構(gòu)構(gòu)建深度學(xué)習(xí)模型，模型的權(quán)重使用高斯分布進(jìn)行初始化。由于CNN是一種典型的前饋神經(jīng)網(wǎng)絡(luò)，需要利用反向傳播算法完成模型的訓(xùn)練，損失函數(shù)則選擇了交叉熵?fù)p失函數(shù)。由于完整的訓(xùn)練集規(guī)模較大，耗用的計(jì)算資源較多，不利于模型的訓(xùn)練。因此，研究采用批尺寸為64，且經(jīng)過(guò)Adam算法優(yōu)化的隨機(jī)梯度下降方法（Stochastic Gradient Descent，SGD）進(jìn)行參數(shù)調(diào)優(yōu)，學(xué)習(xí)率設(shè)置為0.0001（過(guò)低會(huì)導(dǎo)致參數(shù)更新速度緩慢，過(guò)高則可能跳過(guò)局部最小值點(diǎn)）。SGD也是對(duì)標(biāo)準(zhǔn)BP算法的一種優(yōu)化。由于目標(biāo)函數(shù)可以分解在不同的子集上進(jìn)行計(jì)算求和，通過(guò)將訓(xùn)練集劃分為多個(gè)較小的子樣本集，可以使SGD算法一次只在一個(gè)批次上更新參數(shù)（包括詞嵌入層和卷積層的權(quán)重矩陣）。樣本的訓(xùn)練采用10輪迭代的方式，并在模型性能無(wú)法改善的情況下使用提前停止方法終止訓(xùn)練過(guò)程。

（二）其他基準(zhǔn)模型

研究選取了一些統(tǒng)計(jì)學(xué)模型和淺層機(jī)器學(xué)習(xí)模型，并以此為基礎(chǔ)對(duì)深度學(xué)習(xí)模型進(jìn)行了基準(zhǔn)測(cè)試。統(tǒng)計(jì)學(xué)模型包括邏輯回歸和樸素貝葉斯模型，淺層模型則包含支持向量機(jī)、隨機(jī)森林和兩類(lèi)梯度提升決策樹(shù)的變體模型（XGBoost和LightGBM）。基準(zhǔn)模型基于scikit-learn機(jī)器學(xué)習(xí)庫(kù)提供的方法構(gòu)建。

1.文本預(yù)處理

研究基于同樣的MD&A文本集訓(xùn)練基準(zhǔn)模型，并利用五折交叉驗(yàn)證方法實(shí)現(xiàn)模型的訓(xùn)練和測(cè)試。數(shù)據(jù)集在進(jìn)行文本表征和特征提取前依然需要先移除文本中的數(shù)字、字母、標(biāo)點(diǎn)符號(hào)和一些特殊符號(hào)，保留純文本內(nèi)容，再完成去除停用詞和分詞處理。研究參照哈爾濱工業(yè)大學(xué)開(kāi)發(fā)的中文停用詞表去除文本的停用詞，并選用jieba中文分詞工具實(shí)現(xiàn)分詞處理。

文本的表示形式和特征提取過(guò)程基于卡方檢驗(yàn)和TF-IDF算法?？ǚ綑z驗(yàn)的核心思想是通過(guò)觀測(cè)實(shí)際值與理論值的偏差衡量假設(shè)是否正確?；谶@一原理，在對(duì)MD&A文本進(jìn)行特征選擇時(shí)，本文將“特征詞與財(cái)務(wù)報(bào)告舞弊不相關(guān)”作為原假設(shè)，以提取文本的特征詞匯。具體的計(jì)算方法如下：

其中，N表示文本總數(shù)，A和B分別表示特征詞在舞弊類(lèi)和非舞弊類(lèi)文本中出現(xiàn)的頻率，C和D則分別表示特征詞在舞弊類(lèi)和非舞弊類(lèi)文本中不出現(xiàn)的頻率。根據(jù)上述的計(jì)算方法，研究提取了文本集中的前1 000個(gè)詞作為特征詞。

考慮到這些特征詞在文本分類(lèi)中的重要性，利用詞頻-逆文本頻率（Term Frequency-Inverse Document Frequency，TF-IDF）算法來(lái)賦予特征詞不同的權(quán)重?；赥F-IDF算法，特征詞的權(quán)重可以表示為：

其中，j表示文本，k和l表示文本類(lèi)別，tfijk表示特征詞i在k類(lèi)j文本的詞頻，N表示文本總數(shù)，n表示包含特征詞i的k類(lèi)文本總數(shù)。由此，由卡方檢驗(yàn)提取的特征詞表示的MD&A文本被進(jìn)一步轉(zhuǎn)換為T(mén)F-IDF權(quán)重表示的文本向量。

2.統(tǒng)計(jì)學(xué)模型和淺層模型

邏輯回歸是智能化舞弊識(shí)別研究中最常用的模型，它利用一系列輸入向量、一個(gè)相關(guān)的響應(yīng)變量以及自然對(duì)數(shù)來(lái)計(jì)算回歸結(jié)果在特定類(lèi)別內(nèi)的概率。對(duì)于舞弊識(shí)別這種二元分類(lèi)問(wèn)題，響應(yīng)變量可以表示為：

計(jì)算MD&A文本所屬類(lèi)別的公式為：

除了邏輯回歸，本文還采用了另一種統(tǒng)計(jì)學(xué)中常用的數(shù)據(jù)分類(lèi)模型，即樸素貝葉斯（Naive Bayesian，NB）模型。NB算法基于貝葉斯原理，假定MD&A文本的特征向量為，文本屬于某一類(lèi)別ci的概率為條件概率P（ci），模型的訓(xùn)練過(guò)程就是利用訓(xùn)練集統(tǒng)計(jì)先驗(yàn)概率P（ci）和特征dj（N為樣本包含的特征數(shù)）在類(lèi)別ci（i={0，1}）中出現(xiàn)的概率。具體的計(jì)算方法可以表示為：

研究選取的淺層模型包括支持向量機(jī)、隨機(jī)森林和決策樹(shù)，這些模型都是財(cái)務(wù)預(yù)測(cè)的研究中最常用的智能化模型。支持向量機(jī)通過(guò)將樣本空間映射到一個(gè)高維的特征空間中，使得很多復(fù)雜的非線性問(wèn)題能夠通過(guò)線性分類(lèi)的方式解決。本文選擇了RBF函數(shù)作為支持向量機(jī)模型的核函數(shù);隨機(jī)森林是一種包含多個(gè)決策樹(shù)的分類(lèi)模型，會(huì)隨機(jī)選擇特征集中的n個(gè)特征，每棵樹(shù)都對(duì)樣本集采用Bootstrap抽樣的方法確定自身的訓(xùn)練集;此外，研究還構(gòu)建了兩種梯度提升決策樹(shù)（Gradient Boosting Decision Tree，GBDT）的變體模型：XGBoost和LightGBM。GBDT是一種集成學(xué)習(xí)模型，能基于決策樹(shù)實(shí)現(xiàn)分類(lèi)和回歸。模型的訓(xùn)練過(guò)程由多輪迭代完成，每輪迭代產(chǎn)生一個(gè)弱學(xué)習(xí)器，并基于上一輪迭代的殘差進(jìn)行訓(xùn)練，通過(guò)不斷減小殘差來(lái)提高分類(lèi)精度，直至達(dá)到最優(yōu)。

五、實(shí)證結(jié)果

（一）模型評(píng)估

構(gòu)建一個(gè)具有較好的樣本外預(yù)測(cè)能力的財(cái)務(wù)報(bào)告舞弊識(shí)別模型對(duì)本文的研究至關(guān)重要。對(duì)于深度學(xué)習(xí)模型和基準(zhǔn)模型，研究都采用精確率（Precision）、召回率（Recall）和F1分?jǐn)?shù)（F1-score）三類(lèi)評(píng)價(jià)指標(biāo)衡量模型在測(cè)試集上的分類(lèi)性能。

精確率表示模型預(yù)測(cè)出的舞弊類(lèi)樣本中被正確預(yù)測(cè)的比例，召回率則表示所有的舞弊類(lèi)樣本中被正確預(yù)測(cè)的比例。精確率和召回率可以分別表示為：

其中，TP（即真陽(yáng)性（True Positive，TP））表示被模型預(yù)測(cè)為舞弊樣本且本身也為舞弊樣本的MD&A文本;FP（即假陽(yáng)性（False Positive，F(xiàn)P））表示被模型預(yù)測(cè)為舞弊樣本而本身為非舞弊樣本的MD&A文本;FN（即假陰性（False Negative）），表示被模型預(yù)測(cè)為非舞弊樣本而本身為舞弊樣本的MD&A文本。F1分?jǐn)?shù)是統(tǒng)計(jì)學(xué)中常用來(lái)衡量模型二分類(lèi)性能的一種指標(biāo)，可以表示模型的精確率和召回率的一種調(diào)和平均值，具體表示為：

這三類(lèi)指標(biāo)的值均介于0和1之間，越接近1表示模型的分類(lèi)性能越好。然而，以上三類(lèi)指標(biāo)的計(jì)算過(guò)程均假定舞弊類(lèi)文本為正樣本，而非舞弊類(lèi)文本為負(fù)樣本。為了綜合考察模型在不同類(lèi)別上的分類(lèi)性能，研究還引入了宏平均（Macro-Average）的方法，即對(duì)舞弊類(lèi)和非舞弊類(lèi)樣本分別作為正樣本時(shí)得到的評(píng)價(jià)指標(biāo)值求算術(shù)平均值。

（二）實(shí)證結(jié)果及分析

表3和表4分別總結(jié)了利用上市公司定期報(bào)告中的MD&A文本訓(xùn)練的深度學(xué)習(xí)模型和基準(zhǔn)模型在樣本外數(shù)據(jù)集上的預(yù)測(cè)結(jié)果（評(píng)價(jià)指標(biāo)采用宏平均后的數(shù)值），以及深度學(xué)習(xí)模型在不同類(lèi)別上的預(yù)測(cè)性能。深度學(xué)習(xí)模型的架構(gòu)基于詞嵌入模型和一種字符級(jí)的卷積神經(jīng)網(wǎng)絡(luò)，基準(zhǔn)模型則選取了兩類(lèi)統(tǒng)計(jì)學(xué)模型（邏輯回歸和樸素貝葉斯模型）和三類(lèi)淺層模型（支持向量機(jī)、隨機(jī)森林和梯度提升決策樹(shù)）。根據(jù)表3和表4列示的各項(xiàng)評(píng)價(jià)指標(biāo)，研究的實(shí)證結(jié)果可以總結(jié)為以下四點(diǎn)：第一，研究所實(shí)現(xiàn)的模型，無(wú)論是深度學(xué)習(xí)模型還是其他基準(zhǔn)模型，評(píng)價(jià)分類(lèi)性能的指標(biāo)值均大于0.7，表明模型能夠有效利用MD&A中的文本信息進(jìn)行財(cái)務(wù)報(bào)告舞弊識(shí)別;第二，深度學(xué)習(xí)的各項(xiàng)分類(lèi)性能均顯著高于其他基準(zhǔn)模型，表明相較于傳統(tǒng)智能化財(cái)務(wù)報(bào)告舞弊檢測(cè)研究所采用的模型，本文構(gòu)建的深度學(xué)習(xí)架構(gòu)能更好地識(shí)別具有舞弊性質(zhì)的財(cái)務(wù)報(bào)告;第三，邏輯回歸、樸素貝葉斯和支持向量機(jī)模型的各項(xiàng)指標(biāo)均在0.8左右，顯著高于其他決策樹(shù)類(lèi)的模型，表明基于小樣本（樣本數(shù)小于1 000）的文本數(shù)據(jù)集進(jìn)行財(cái)務(wù)報(bào)告舞弊識(shí)別時(shí)，邏輯回歸、樸素貝葉斯和支持向量機(jī)模型具有更好的預(yù)測(cè)性能;第四，深度學(xué)習(xí)模型在兩類(lèi)MD&A文本集上的評(píng)價(jià)指標(biāo)值均大于0.82，表明模型在不同類(lèi)別的數(shù)據(jù)集上均表現(xiàn)出較好的舞弊識(shí)別能力。

六、結(jié)論與啟示

財(cái)務(wù)報(bào)告作為公開(kāi)披露的信息，直接反映了企業(yè)的運(yùn)營(yíng)狀況，因此也成為了企業(yè)實(shí)施舞弊行為的重要媒介。有效識(shí)別財(cái)務(wù)報(bào)告舞弊成為規(guī)范金融市場(chǎng)運(yùn)行秩序的重要手段之一。利用深度學(xué)習(xí)技術(shù)在NLP領(lǐng)域取得的各項(xiàng)突破，本文構(gòu)建了用于識(shí)別上市公司財(cái)務(wù)報(bào)告舞弊的字符級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型，該模型采用財(cái)務(wù)報(bào)告中的MD&A文本作為分析樣本。結(jié)果表明，在淺層模型具有明顯優(yōu)勢(shì)的小樣本數(shù)據(jù)集上，不需要經(jīng)過(guò)復(fù)雜的文本特征定向提取，字符級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型依然能夠表現(xiàn)出更優(yōu)越的分類(lèi)性能，這一結(jié)果也為利用深度學(xué)習(xí)技術(shù)改進(jìn)現(xiàn)有的財(cái)務(wù)報(bào)告舞弊識(shí)別方法提供了直接的證據(jù)。此外，研究不僅證明了深度學(xué)習(xí)模型在識(shí)別財(cái)務(wù)報(bào)告舞弊上的優(yōu)勢(shì)，而且所構(gòu)建的各類(lèi)模型在MD&A文本上均表現(xiàn)出較好的預(yù)測(cè)性能，這體現(xiàn)了企業(yè)披露的公開(kāi)文本所具有的效用和信息價(jià)值。同時(shí)，財(cái)務(wù)報(bào)告的文本披露作為一種可靠性強(qiáng)且易于獲得的數(shù)據(jù)來(lái)源，可以為相關(guān)研究提供很好的數(shù)據(jù)支持。

本文涉及到的很多內(nèi)容值得進(jìn)一步探究。首先，深度學(xué)習(xí)模型和其他使用非結(jié)構(gòu)化數(shù)據(jù)的人工智能系統(tǒng)類(lèi)似，訓(xùn)練擬合出的卷積神經(jīng)網(wǎng)絡(luò)模型是一個(gè)黑箱。深入挖掘和分析模型訓(xùn)練過(guò)程中提取的文本局部特征，有利于揭示表明企業(yè)存在舞弊行為的財(cái)務(wù)報(bào)告文本的本質(zhì);其次，研究只采用了MD&A文本作為訓(xùn)練數(shù)據(jù)的唯一來(lái)源，而目前依然存在大量的非結(jié)構(gòu)化數(shù)據(jù)源源不斷地注入金融市場(chǎng)，利用更多不同來(lái)源的文本數(shù)據(jù)可能有助于提升深度學(xué)習(xí)模型在企業(yè)舞弊識(shí)別中的性能;最后，研究所涉及的詞嵌入方法和字符級(jí)的CNN模型只是深度學(xué)習(xí)技術(shù)的冰山一角。僅就NLP而言，深度學(xué)習(xí)還存在大量的新興技術(shù)值得深入研究，例如知識(shí)圖譜、注意力機(jī)制、Transformer等文本表示方法，循環(huán)神經(jīng)網(wǎng)絡(luò)、自編碼器、受限玻爾茲曼機(jī)、對(duì)抗生成網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)等深度學(xué)習(xí)的基礎(chǔ)架構(gòu)，以及基于這些架構(gòu)及其變體模型組合而成的混合模型等?？傊?，本文發(fā)掘了基于文本數(shù)據(jù)的深度學(xué)習(xí)模型在財(cái)務(wù)和會(huì)計(jì)預(yù)測(cè)研究中的部分價(jià)值，更多的應(yīng)用價(jià)值值得后續(xù)的研究進(jìn)一步探索。

【參考文獻(xiàn)】

[1] DONG W，LIAO S，LIANG L.Financial statement fraud detection using text mining：a systemic functional linguistics theory perspective[C].Proceedings of the Pacific Asia Conference on Information Systems （PACIS），2016.

[2] 胡越，羅東陽(yáng)，花奎，等.關(guān)于深度學(xué)習(xí)的綜述與討論 [J].智能系統(tǒng)學(xué)報(bào)，2019，14（1）：1-19.

[3] ZHANG X，ZHAO J，LECUN Y.Character-level convolutional networks for text classification[C].Proceedings of the Advances in Neural Information Processing Systems，2015.

[4] 張莉.基于國(guó)家治理的上市公司舞弊審計(jì)實(shí)證檢驗(yàn) [J].財(cái)會(huì)月刊，2018（6）：20.

[5] MAI F，TIAN S，LEE C，et al.Deep learning models for bankruptcy prediction using textual disclosures[J].European Journal of Operational Research，2019，274（2）：743-758.

[6] DONG W，LIAO S，ZHANG Z.Leveraging financial social media data for corporate fraud detection [J].Journal of Management Information Systems，2018，35（2）：461-487.

[7] GLANCY F H，YADAV S B.A computational model for financial reporting fraud detection[J].Decision Support Systems，2011，50（3）：595-601.

[8] 皇甫冬雪.基于Lib-SVM的損益調(diào)整類(lèi)財(cái)務(wù)報(bào)告舞弊識(shí)別模型研究——來(lái)自中國(guó)證券市場(chǎng)的證據(jù)[J].會(huì)計(jì)之友，2011（25）：75-79.

[9] RAVISANKAR P，RAVI V，RAO G R，et al.Detection of financial statement fraud and feature selection using data mining techniques[J].Decision Support Systems，2011，50（2）：491-500.

[10] PAI P-F，HSU M-F，WANG M-C.A support vector machine-based model for detecting top management fraud[J].Knowledge-Based Systems，2011，24（2）：314-321.

[11] HUANG S-Y，TSAIH R-H，YU F.Topological pattern discovery and feature extraction for fraudulent financial reporting[J].Expert Systems with Applications，2014，41（9）：4360-4372.

[12] CHEN S，GOO YJ J，SHEN ZD.A hybrid approach of stepwise regression，logistic regression，support vector machine，and decision tree for forecasting fraudulent financial statements[J/OL].The Scientific World Journal，2014.

[13] PRADEEP G，RAVI V，NANDAN K，et al.Fraud detection in financial statements using evolutionary computation based rule miners[C].Proceedings of the International Conference on Swarm，Evolutionary，and Memetic Computing，2014.

[14] KIM Y J，BAIK B，CHO S.Detecting financial misstatements with fraud intention using multi-class cost-sensitive learning [J].Expert Systems with Applications，2016，62：32-43.

[15] 馮炳純.基于數(shù)據(jù)挖掘技術(shù)的財(cái)務(wù)舞弊識(shí)別模型構(gòu)建[J].財(cái)會(huì)通訊，2019，805（5）：93-97.

[16] XING F Z，CAMBRIA E，WELSCH R E.Natural language based financial forecasting：a survey [J].Artificial Intelligence Review，2018，50（1）：49-73.

[17] DYCK A，et al.The corporate governance role of the media[J].The Journal of Finance，2008，63（3）：1093-1135.

[18] CECCHINI M，AYTUG H，KOEHLER G J，et al.Making words work：using financial text as a predictor of financial events[J].Decision Support Systems，2010，50（1）：164-175.

[19] HUMPHERYS S L，MOFFITT K C，BURNS M B，et al.Identification of fraudulent financial statements using linguistic credibility analysis [J].Decision Support Systems，2011，50（3）：585-594.

[20] GOEL S，UZUNER O.Do sentiments matter in fraud detection？ Estimating semantic orientation of annual reports [J].Intelligent Systems in Accounting，F(xiàn)inance and Management，2016，23（3）：215-239.

[21] MINHAS S，HUSSAIN A.From spin to swindle：identifying falsification in financial text [J].Cognitive computation，2016，8（4）：729-745.

[22] HAJEK P，HENRIQUES R.Mining corporate annual reports for intelligent detection of financial statement fraud a comparative study of machine learning methods[J].Knowledge Based Systems，2017，128（6）：139-152.