丁安琪 張 楊 蘭韻詩(shī)

一、引言

文本難度自動(dòng)分級(jí)是指根據(jù)文本易于理解程度(也稱可讀性、易讀性),通過(guò)計(jì)算機(jī)自動(dòng)計(jì)算,根據(jù)文本特征自動(dòng)判斷文本所屬難度級(jí)別。文本難度分級(jí)研究主要服務(wù)于語(yǔ)言與閱讀教學(xué),在教材編纂與出版、分級(jí)閱讀、語(yǔ)言水平測(cè)試等方面都發(fā)揮著重要作用。①王泉根:《新世紀(jì)中國(guó)分級(jí)閱讀的思考與對(duì)策》,《中國(guó)圖書評(píng)論》2009年第9期。目前進(jìn)行文本難度分級(jí)主要依靠人工設(shè)計(jì)的易讀性公式。依靠人工對(duì)文本進(jìn)行難度分級(jí)費(fèi)時(shí)費(fèi)力,隨著語(yǔ)言信息處理技術(shù)的發(fā)展,利用計(jì)算機(jī)進(jìn)行文本難度自動(dòng)分級(jí)越來(lái)越受到關(guān)注。文本難度自動(dòng)分級(jí)可以降低使用人工評(píng)估方式進(jìn)行文本難度分級(jí)的主觀性及時(shí)間成本,快速有效地為使用者提供難度適宜的文本材料。

在國(guó)際中文教育領(lǐng)域,利用計(jì)算機(jī)技術(shù)進(jìn)行文本難度自動(dòng)分級(jí)研究的成果尚不多見(jiàn),目前僅有楊純莉使用支持向量機(jī)(SVM)①Cortes,C.,&Vapnik,V.,Support-vector Networks,Machine Learning,vol.20,no.3,1995,pp.273-297.和樸素貝葉斯(NB)②Cover,T.,&Hart,P.,Nearest Neighbor Pattern Classification,IEEE Transactions on Information Theory,vol.13,no.1,1967,pp.21-27。的算法,對(duì)對(duì)外漢語(yǔ)報(bào)刊進(jìn)行文本難度分級(jí)實(shí)驗(yàn);③楊純莉:《基于統(tǒng)計(jì)算法的對(duì)外漢語(yǔ)報(bào)刊文本易讀性詞匯因素分析》,華東師范大學(xué)碩士論文,2018。朱君輝等以16套國(guó)際中文教育教材為閱讀語(yǔ)料,使用多種機(jī)器學(xué)習(xí)算法考察漢語(yǔ)語(yǔ)法點(diǎn)對(duì)國(guó)際中文教育文本難度分級(jí)的影響;④朱君輝、劉鑫、楊麟兒、王鴻濱、楊爾弘:《漢語(yǔ)語(yǔ)法點(diǎn)特征及其在二語(yǔ)文本難度自動(dòng)分級(jí)研究中的應(yīng)用》,《語(yǔ)言文字應(yīng)用》2022年第3期。杜月明等以HSK閱讀文本為語(yǔ)料集,采用多種機(jī)器學(xué)習(xí)算法進(jìn)行實(shí)驗(yàn)。⑤杜月明、王亞敏、王蕾:《漢語(yǔ)水平考試(HSK)閱讀文本可讀性自動(dòng)評(píng)估研究》,《語(yǔ)言文字應(yīng)用》2022年第3期。但楊文兩種算法分級(jí)準(zhǔn)確率只有45%左右;朱文使用人工標(biāo)注定級(jí)方式為訓(xùn)練語(yǔ)料定級(jí),研究結(jié)果客觀性不足;杜文將HSK一至三級(jí)文本納入統(tǒng)計(jì)中,這些文本多以短句形式呈現(xiàn),加大了字詞因素對(duì)文本的影響,對(duì)整個(gè)模型整體預(yù)測(cè)效果也會(huì)產(chǎn)生一定影響。

本文擬以《國(guó)際中文教育中文水平等級(jí)標(biāo)準(zhǔn)》(GF0025—2021,以下簡(jiǎn)稱《標(biāo)準(zhǔn)》)為基礎(chǔ),以HSK中高級(jí)閱讀文本為參照,通過(guò)對(duì)已標(biāo)注HSK等級(jí)的中高級(jí)閱讀文本進(jìn)行難度分析,探討文本難度自動(dòng)分級(jí)構(gòu)建最佳路徑。選擇《標(biāo)準(zhǔn)》作為基礎(chǔ),是因?yàn)椤稑?biāo)準(zhǔn)》是首個(gè)面向外國(guó)中文學(xué)習(xí)者全面描繪、評(píng)價(jià)其中文語(yǔ)言技能和水平的規(guī)范標(biāo)準(zhǔn),將外國(guó)學(xué)習(xí)者中文水平分為初、中、高三個(gè)等第,每個(gè)等第包含三個(gè)級(jí)別,并針對(duì)“三等九級(jí)”每一級(jí)別,從音節(jié)、漢字、詞匯、語(yǔ)法四個(gè)維度,給出了明確說(shuō)明?！稑?biāo)準(zhǔn)》為國(guó)際中文教育領(lǐng)域文本難度分級(jí)研究提供了權(quán)威的國(guó)家級(jí)標(biāo)桿。以HSK中高級(jí)閱讀文本為參照,是因?yàn)檫@些材料來(lái)源于漢考國(guó)際官方公布正式樣卷或正式出版的具有權(quán)威性的HSK教材,其等級(jí)已經(jīng)明確,可以為難度自動(dòng)分級(jí)結(jié)果提供檢測(cè)依據(jù)。

具體來(lái)說(shuō),本文旨在探索以下問(wèn)題:

1.不同層面特征對(duì)HSK中高級(jí)閱讀文本難度預(yù)測(cè)能力如何?哪種模型對(duì)HSK中高級(jí)閱讀文本預(yù)測(cè)能力最佳?

2.模型對(duì)HSK不同級(jí)別閱讀文本預(yù)測(cè)能力如何?

二、基于《標(biāo)準(zhǔn)》的HSK中高級(jí)閱讀文本難度自動(dòng)分級(jí)

從計(jì)算機(jī)角度來(lái)看,文本難度自動(dòng)分級(jí)問(wèn)題可以看作是一個(gè)分類問(wèn)題,這是自然語(yǔ)言處理領(lǐng)域非常經(jīng)典的問(wèn)題。一般來(lái)說(shuō),包括以下三個(gè)步驟:第一步,構(gòu)建文本難度數(shù)據(jù)集。數(shù)據(jù)集包括訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集以及測(cè)試數(shù)據(jù)集三個(gè)部分。其中,訓(xùn)練數(shù)據(jù)集用于訓(xùn)練分級(jí)模型,幫助模型調(diào)整自身參數(shù)以擬合數(shù)據(jù)集;驗(yàn)證數(shù)據(jù)集用來(lái)調(diào)整分級(jí)模型超參數(shù),增強(qiáng)模型擬合能力;測(cè)試數(shù)據(jù)集用于測(cè)試模型分級(jí)效果。第二步,構(gòu)建文本難度特征集。文本難度特征集是文本難度分級(jí)依據(jù),在以往研究中,學(xué)者多從字、詞、句、篇等維度對(duì)文本特征進(jìn)行標(biāo)記。⑥郭望皓:《對(duì)外漢語(yǔ)文本易讀性公式研究》,上海交通大學(xué)碩士論文,2010。⑦左虹、朱勇:《中級(jí)歐美留學(xué)生漢語(yǔ)文本可讀性公式研究》,《世界漢語(yǔ)教學(xué)》2014年第2期。⑧吳思遠(yuǎn)、于東、江新:《漢語(yǔ)文本可讀性特征體系構(gòu)建和效度驗(yàn)證》,《世界漢語(yǔ)教學(xué)》2020年第1期。第三步,構(gòu)建實(shí)驗(yàn)?zāi)Ｐ筒⒎治鰧?shí)驗(yàn)結(jié)果。

本節(jié)將介紹數(shù)據(jù)集的構(gòu)建、特征集的構(gòu)建和抽取過(guò)程、實(shí)驗(yàn)?zāi)Ｐ偷臉?gòu)建以及實(shí)驗(yàn)結(jié)果分析。具體實(shí)驗(yàn)流程見(jiàn)圖1。

圖1 HSK中高級(jí)閱讀文本難度自動(dòng)分級(jí)實(shí)驗(yàn)流程

1.HSK中高級(jí)閱讀文本數(shù)據(jù)集構(gòu)建

本研究面向HSK中高級(jí)閱讀文本進(jìn)行難度分析,因此實(shí)驗(yàn)數(shù)據(jù)均為HSK相關(guān)官方閱讀文本材料,包括來(lái)自北京語(yǔ)言大學(xué)出版社的《HSK標(biāo)準(zhǔn)教程》①姜麗萍、李琳、于淼:《HSK標(biāo)準(zhǔn)教程》,北京語(yǔ)言大學(xué)出版社,2015年。(4～6級(jí),各上下兩冊(cè),共6冊(cè))、配套練習(xí)冊(cè)《HSK標(biāo)準(zhǔn)教程練習(xí)冊(cè)》②姜麗萍:《HSK標(biāo)準(zhǔn)教程練習(xí)冊(cè)》,北京語(yǔ)言大學(xué)出版社,2019年。(4～6級(jí),各上下兩冊(cè),共6冊(cè))、孔子學(xué)院總部與國(guó)家漢辦編制的《新漢語(yǔ)水平考試樣卷》③數(shù)據(jù)來(lái)源:https://www.chinesetest.cn/gosign.do?id=1&lid=0#,新漢語(yǔ)水平考試樣卷。(4～6級(jí),各1冊(cè),共3冊(cè))、《新漢語(yǔ)水平考試真題集》④國(guó)家漢辦、孔子學(xué)院總部:《新漢語(yǔ)水平考試真題集HSK(六級(jí))》,商務(wù)印書館,2012年。(4～6級(jí),各40余冊(cè),共129冊(cè)),共計(jì)144份材料。

首先,借助CnOCR文字識(shí)別(Optical Character Recognition,OCR)工具包⑤CnOCR:CnOCR是用來(lái)做中文OCR的Python 3包。CnOCR自帶訓(xùn)練好的識(shí)別模型,安裝后即可直接使用。下載鏈接:https://gitee.com/cyahua/cnocr.,我們從上述教材中抽取出每單元課文正文,從上述練習(xí)冊(cè)、樣卷、真題集中抽取部分閱讀文本?？紤]到閱讀部分題型較為豐富多樣,且部分題型特殊,我們對(duì)不同等級(jí)閱讀部分的題型進(jìn)行了篩選,如因四級(jí)閱讀第一部分針對(duì)短對(duì)話的選詞填空題,對(duì)話字?jǐn)?shù)過(guò)少,未達(dá)到一篇文本的長(zhǎng)度,我們將其舍棄?；谏鲜隹紤],我們抽取的閱讀文本范圍為:四級(jí)閱讀第三部分、五級(jí)閱讀第一二三部分、六級(jí)閱讀第三四部分。

然后,我們通過(guò)人工校對(duì)方式,對(duì)文字識(shí)別抽取的文本結(jié)果進(jìn)行格式、標(biāo)點(diǎn)、空格校對(duì),構(gòu)建了HSK中高級(jí)閱讀文本數(shù)據(jù)集。數(shù)據(jù)庫(kù)最終保留2595篇文本,詳細(xì)信息如表1所示。

表1 HSK中高級(jí)閱讀文本數(shù)據(jù)集統(tǒng)計(jì)信息

2.HSK中高級(jí)閱讀文本特征集構(gòu)建

閱讀文本難度等級(jí)與其所在標(biāo)準(zhǔn)下的漢字、詞匯、語(yǔ)法等語(yǔ)言基本要素等級(jí)大綱有著密切關(guān)系。判斷閱讀文本難度,往往需要考察該文本中漢字、詞匯與語(yǔ)法的難度。而對(duì)于中高級(jí)閱讀文本來(lái)說(shuō),隨著文本難度升高,其所包含語(yǔ)義信息也更為豐富,語(yǔ)義信息也會(huì)較大程度影響一篇中高級(jí)閱讀文本整體難度。

我們根據(jù)《標(biāo)準(zhǔn)》中漢字、詞匯、語(yǔ)法等級(jí)大綱,構(gòu)建基于《標(biāo)準(zhǔn)》的多維等級(jí)特征以衡量一篇文本的局部難度;同時(shí),基于深度學(xué)習(xí)模型構(gòu)建語(yǔ)義特征以衡量一篇文本的全局難度。由以上兩類特征,共同構(gòu)成適用于HSK中高級(jí)閱讀文本難度分級(jí)的語(yǔ)言特征體系?！稑?biāo)準(zhǔn)》漢字、詞匯、語(yǔ)法等級(jí)大綱統(tǒng)計(jì)信息見(jiàn)表2。下面分別對(duì)各項(xiàng)特征進(jìn)行具體說(shuō)明。

表2 《標(biāo)準(zhǔn)》漢字、詞匯、語(yǔ)法等級(jí)大綱統(tǒng)計(jì)信息

(1)基于《標(biāo)準(zhǔn)》的多維等級(jí)特征

基于《標(biāo)準(zhǔn)》的多維等級(jí)特征由三個(gè)部分構(gòu)成:漢字等級(jí)特征、詞匯等級(jí)特征、語(yǔ)法等級(jí)特征。為探究各類型特征對(duì)于文本難度分級(jí)的有效性,針對(duì)每一個(gè)特征,我們對(duì)HSK中高級(jí)閱讀文本數(shù)據(jù)集中所有文本分別進(jìn)行相應(yīng)的特征難度等級(jí)統(tǒng)計(jì)。通過(guò)分析各等級(jí)特征所對(duì)應(yīng)的統(tǒng)計(jì)圖,認(rèn)定各等級(jí)特征有助于區(qū)分文本難度等級(jí),并基于該發(fā)現(xiàn)將各等級(jí)特征首次納入HSK閱讀文本難度分級(jí)語(yǔ)言特征體系。

①漢字等級(jí)特征

漢字等級(jí)特征,指各等級(jí)漢字?jǐn)?shù)量在文本總漢字?jǐn)?shù)中占比分布情況,共7維,每一維對(duì)應(yīng)一個(gè)漢字等級(jí)。

對(duì)文本中每一個(gè)漢字,我們均根據(jù)《標(biāo)準(zhǔn)》中的漢字等級(jí)大綱,查找其對(duì)應(yīng)的難度等級(jí)。遍歷文本中所有漢字后,通過(guò)計(jì)算各等級(jí)漢字占比,獲得漢字等級(jí)特征。我們對(duì)HSK中高級(jí)閱讀文本數(shù)據(jù)集進(jìn)行上述處理并統(tǒng)計(jì)漢字難度等級(jí),結(jié)果如圖2所示。

圖2 HSK中高級(jí)閱讀文本漢字難度等級(jí)占比統(tǒng)計(jì)

由圖2可知,隨著文本難度等級(jí)升高,高難度漢字使用占比也逐漸增加。因此我們認(rèn)為文本漢字難度等級(jí)分布情況能夠在一定程度上表征文本難度,漢字等級(jí)特征有助于區(qū)分文本難度等級(jí)。

②詞匯等級(jí)特征

詞匯等級(jí)特征,指各等級(jí)詞匯數(shù)量在文本總詞匯數(shù)中的占比分布情況,共9維。我們以《標(biāo)準(zhǔn)》中詞匯等級(jí)大綱為依據(jù),前7維分別對(duì)應(yīng)一個(gè)詞匯等級(jí),第8維為未收錄詞語(yǔ),第9維為專有名詞和特殊詞匯。

借助中文分詞工具,我們首先對(duì)文本執(zhí)行分詞操作,①分詞是自然語(yǔ)言處理的基本操作之一,目的是將連續(xù)文本分割成一個(gè)個(gè)獨(dú)立的詞元。分詞工具來(lái)自,https://github.com/fxsjy/jieba.繼而根據(jù)《標(biāo)準(zhǔn)》中的詞匯等級(jí)大綱,分別對(duì)文本中每一個(gè)詞語(yǔ),查找其相對(duì)應(yīng)的難度等級(jí)。針對(duì)大綱沒(méi)有的詞語(yǔ),增加一個(gè)“未收錄詞語(yǔ)”維度和一個(gè)“專有名詞和特殊詞匯”維度?！皩Ｓ忻~”收錄特定的人、地名、機(jī)構(gòu)名稱等;“特殊詞匯”收錄專業(yè)術(shù)語(yǔ)、特殊的俗語(yǔ)、成語(yǔ)、詩(shī)詞等?！皩Ｓ忻~”和“特殊詞匯”統(tǒng)計(jì)信息和樣例見(jiàn)表3?！稑?biāo)準(zhǔn)》提供的詞匯難度等級(jí)大綱共7個(gè)難度等級(jí),增加上述兩個(gè)維度后,共計(jì)9維。

表3 “專有名詞表”和“特殊詞匯表”統(tǒng)計(jì)信息和樣例表

HSK中高級(jí)閱讀文本數(shù)據(jù)集詞匯難度等級(jí)占比統(tǒng)計(jì)結(jié)果如圖3所示。

圖3 HSK中高級(jí)閱讀文本詞匯難度等級(jí)占比統(tǒng)計(jì)

從圖3中可以看出,隨著文本難度升高,高難度詞匯使用占比逐漸升高,低難度詞匯使用占比逐漸降低;文本難度越高,未收錄詞語(yǔ)占比越高;隨著文本難度提升,文本中專有名詞和特殊詞匯占比也逐級(jí)升高。因此,可以認(rèn)為文本詞匯難度等級(jí)分布情況能夠在一定程度上代表文本難度,詞匯等級(jí)特征有助于區(qū)分文本難度等級(jí)。

③語(yǔ)法等級(jí)特征

語(yǔ)法等級(jí)特征,指各等級(jí)語(yǔ)法數(shù)量在文本總語(yǔ)法數(shù)中的占比分布情況,共7維,每一維對(duì)應(yīng)一個(gè)語(yǔ)法等級(jí)。

我們通過(guò)正則表達(dá)式匹配找到文本中包含的所有語(yǔ)法點(diǎn),并根據(jù)《標(biāo)準(zhǔn)》中的語(yǔ)法等級(jí)大綱,找到各語(yǔ)法點(diǎn)對(duì)應(yīng)的難度等級(jí),以此得到每篇文本中包含的各等級(jí)語(yǔ)法點(diǎn)數(shù)量。如“只要你認(rèn)真學(xué)習(xí),就一定能取得好成績(jī)”,通過(guò)正則表達(dá)式匹配得到語(yǔ)法點(diǎn)“只要……,就……”,查找語(yǔ)法等級(jí)大綱,可知其語(yǔ)法等級(jí)為“二級(jí)”。繼而將各等級(jí)語(yǔ)法點(diǎn)數(shù)量除以該文本中總語(yǔ)法點(diǎn)數(shù)量,計(jì)算得到文本中各等級(jí)語(yǔ)法點(diǎn)頻率,將各級(jí)別頻率拼接成7維向量,作為該文本語(yǔ)法等級(jí)特征。HSK中高級(jí)閱讀文本數(shù)據(jù)集語(yǔ)法難度等級(jí)統(tǒng)計(jì)結(jié)果見(jiàn)圖4。

圖4 HSK中高級(jí)閱讀文本語(yǔ)法難度等級(jí)占比統(tǒng)計(jì)

由圖4可知,隨著文本難度等級(jí)的升高,五、六、七級(jí)語(yǔ)法點(diǎn)使用占比逐漸升高,而低難度等級(jí)語(yǔ)法點(diǎn)使用占比則有所下降。說(shuō)明文本難度在一定程度上與文本語(yǔ)法點(diǎn)等級(jí)分布情況有關(guān),語(yǔ)法等級(jí)特征有助于區(qū)分文本難度等級(jí)。

(2)基于深度學(xué)習(xí)的通用語(yǔ)言特征

一般來(lái)說(shuō),難度等級(jí)高的文本會(huì)表達(dá)更復(fù)雜的語(yǔ)義,而難度等級(jí)較低的文本可能包含更多簡(jiǎn)單句,傳遞更簡(jiǎn)單的語(yǔ)義。這是區(qū)分文本難度的重要特征。因此,除了基于《標(biāo)準(zhǔn)》的多維等級(jí)特征之外,我們還使用了基于深度學(xué)習(xí)的通用語(yǔ)言特征來(lái)衡量文本語(yǔ)義信息。①Zha,J.,Li,Z.,Wei,Y.,&Zhang,Y.,Disentangling Task Relations for Few-shot Text Classification via Self-Supervised Hierarchical Task Clustering,2022,arXiv Preprint arXiv:2211,p.08588.該信息通過(guò)深度學(xué)習(xí)模型對(duì)文本進(jìn)行整體編碼,語(yǔ)義特征共兩項(xiàng),其中一項(xiàng)為BERT②Devlin,J.,Chang,M.W.,Lee,K.,&Toutanova,K.,Bert:Pre-training of Deep Bidirectional Transformers for Language Understanding,2018,arXiv preprint arXiv:1810,p.04805.語(yǔ)義特征,共768維;另一項(xiàng)為DeBERTa③He,P.,Liu,X.,Gao,J.,&Chen,W.Deberta,Decoding-enhanced Bert with Disentangled Attention,2020,arXiv preprint arXiv:2006,p.03654.語(yǔ)義特征,共768維。

以上兩個(gè)深度學(xué)習(xí)模型旨在通過(guò)將離散的字符映射到連續(xù)的向量空間表示字符語(yǔ)義信息。兩者都使用多層Transformer④Vaswani,A.,Shazeer,N.,Parmar,N,et al.,Attention is All You Need,Advances in Neural Information Processing Systems,2017,p.30.結(jié)構(gòu)實(shí)現(xiàn),并在大規(guī)模語(yǔ)料上通過(guò)一系列預(yù)訓(xùn)練任務(wù)進(jìn)行訓(xùn)練。訓(xùn)練得到的模型參數(shù)學(xué)習(xí)了自然語(yǔ)言表達(dá)模式,使模型具有優(yōu)秀的編碼文本語(yǔ)義特征能力,從而使模型對(duì)輸入文本能夠在一定程度上表征其深層語(yǔ)義信息。一般認(rèn)為,模型輸出層第一個(gè)字符“[CLS]”的768維向量,能夠在一定程度上表示該輸入文本的語(yǔ)義信息,我們使用這768維向量來(lái)表示文本中所包含的語(yǔ)義信息。

3.特征抽取過(guò)程

(1)基于等級(jí)大綱的多維等級(jí)特征抽取

漢字等級(jí)特征部分,我們使用Python編程工具清除文本中非中文字符后,遍歷文本中所有漢字,根據(jù)《標(biāo)準(zhǔn)》中的漢字等級(jí)大綱,對(duì)文本中每一個(gè)漢字,查找其相對(duì)應(yīng)的難度等級(jí),從而獲得每一等級(jí)漢字頻數(shù)。將各等級(jí)漢字頻數(shù)除以總漢字?jǐn)?shù)后,各級(jí)頻數(shù)轉(zhuǎn)換為頻率,各級(jí)頻率拼接形成漢字難度等級(jí)分布特征,該特征共7維。

詞匯等級(jí)特征部分,我們使用Python編程工具,借助Jieba工具⑤Jieba工具是用來(lái)實(shí)現(xiàn)分詞操作的工具。Jieba工具來(lái)自:https://github.com/fxsjy/jieba.,對(duì)文本進(jìn)行分詞處理。為了提升Jieba分詞效果,使其分詞結(jié)果更加適合當(dāng)前任務(wù),我們?cè)贘ieba工具自定義詞典中,導(dǎo)入了《標(biāo)準(zhǔn)》“詞匯大綱”以及我們構(gòu)建的“專有名詞表”和“特殊詞匯表”。

經(jīng)過(guò)上述分詞處理后,文本被轉(zhuǎn)換為詞匯列表。根據(jù)“專有名詞表”和“特殊詞匯表”,我們遍歷查找出專有名詞和特殊詞匯,統(tǒng)計(jì)其數(shù)量歸入“專有名詞和特殊詞匯”維度,并從詞匯列表中剔除。

繼而遍歷詞匯列表中所有剩余詞匯,根據(jù)《標(biāo)準(zhǔn)》中的詞匯等級(jí)大綱,分別對(duì)文本中每一個(gè)詞語(yǔ),查找其相對(duì)應(yīng)的難度等級(jí),從而獲得每一等級(jí)詞語(yǔ)頻數(shù),同時(shí)將未在大綱中找到的詞語(yǔ)暫時(shí)歸入“未收錄詞語(yǔ)”維度中。對(duì)“未收錄詞語(yǔ)”進(jìn)行進(jìn)一步統(tǒng)計(jì)分析,我們發(fā)現(xiàn)其中很多能夠繼續(xù)進(jìn)行拆分,因此我們制定了38項(xiàng)規(guī)則,以進(jìn)一步拆分“未收錄詞語(yǔ)”。部分拆分規(guī)則見(jiàn)表4。

表4 部分“未收錄詞語(yǔ)”拆分規(guī)則內(nèi)容與舉例

根據(jù)《標(biāo)準(zhǔn)》提供的詞匯等級(jí)大綱,分別對(duì)文本中每一個(gè)詞語(yǔ),查找其相對(duì)應(yīng)的難度等級(jí),從而獲得每一等級(jí)詞語(yǔ)頻數(shù),同時(shí)將未在大綱中找到的詞匯歸入“未收錄詞語(yǔ)”維度中。將各級(jí)詞語(yǔ)頻數(shù)除以總詞匯數(shù)后,各級(jí)頻數(shù)轉(zhuǎn)換為頻率,各級(jí)頻率拼接形成詞匯難度等級(jí)分布特征,該特征共9維。

語(yǔ)法等級(jí)特征部分,《標(biāo)準(zhǔn)》中的語(yǔ)法等級(jí)大綱中共有572個(gè)語(yǔ)法點(diǎn),分屬于12個(gè)語(yǔ)法類型:詞類、短語(yǔ)、句子成分、句子的類型、動(dòng)作的態(tài)、特殊表達(dá)法、提問(wèn)的方法、語(yǔ)素、強(qiáng)調(diào)的方法、口語(yǔ)格式、句群和固定格式。我們對(duì)語(yǔ)法點(diǎn)數(shù)量占比最高的“詞類”“短語(yǔ)”“句子的類型”“口語(yǔ)格式”“固定格式”等五類進(jìn)行了正則表達(dá)式的大規(guī)模匹配;其余語(yǔ)法點(diǎn)數(shù)量比較少的語(yǔ)法類型,“句子成分”“動(dòng)作的態(tài)”“特殊表達(dá)法”“提問(wèn)的方法”“語(yǔ)素”“強(qiáng)調(diào)的方法”“句群”,則暫不在本工作中考慮。最終我們通過(guò)構(gòu)造正則表達(dá)式,完成474個(gè)語(yǔ)法點(diǎn)的匹配,匹配完成度達(dá)到82.87%。正則表達(dá)式匹配語(yǔ)法點(diǎn)示例見(jiàn)表5。

表5 正則表達(dá)式匹配語(yǔ)法點(diǎn)示例

我們使用Python編程工具,借助正則表達(dá)式對(duì)文本中語(yǔ)法點(diǎn)進(jìn)行匹配,根據(jù)《標(biāo)準(zhǔn)》中的語(yǔ)法等級(jí)大綱,對(duì)匹配后語(yǔ)法點(diǎn)查找其對(duì)應(yīng)難度等級(jí),從而獲得每一等級(jí)語(yǔ)法點(diǎn)頻數(shù)。將頻數(shù)除以該文本中所有語(yǔ)法點(diǎn)個(gè)數(shù)后,頻數(shù)轉(zhuǎn)換為頻率,將各級(jí)別頻率拼接,形成語(yǔ)法難度等級(jí)分布特征,共7維。

(2)基于深度學(xué)習(xí)的通用語(yǔ)言特征抽取

基于深度學(xué)習(xí)的通用語(yǔ)言特征,用于衡量文本語(yǔ)義信息,共有兩個(gè)特征,各768維,共1536維。我們借助BERT和DeBERTa兩個(gè)深度學(xué)習(xí)預(yù)訓(xùn)練模型,提取文本語(yǔ)義信息。具體做法為:下載預(yù)訓(xùn)練好的模型參數(shù)(其中BERT預(yù)訓(xùn)練模型來(lái)自Hugging Face/bert-base-chinese①BERT預(yù)訓(xùn)練模型是一種基于Transformer的encoder層堆積模型,具有判斷句子關(guān)系的能力,通常用來(lái)提取文本的語(yǔ)義信息。BERT預(yù)訓(xùn)練模型來(lái)自:https://huggingface.co/bert-base-chinese.;DeBERTa預(yù)訓(xùn)練模型來(lái)自Hugging Face/MoritzLaurer/mDeBERTa-v3-base-mnli-xnli①DeBERTa預(yù)訓(xùn)練模型在BERT預(yù)訓(xùn)練模型的基礎(chǔ)之上增加了注意力解耦機(jī)制和增強(qiáng)的掩碼解碼器。DeBERTa預(yù)訓(xùn)練模型來(lái)自:https://huggingface.co/MoritzLaurer/mDeBERTa-v3-base-mnli-xnli.),借助Python編程工具和Pytorch深度學(xué)習(xí)工具,將文本轉(zhuǎn)化為字符編碼序列,輸入模型中,取模型輸出層第一個(gè)字符“[CLS]”的768維向量,將其作為所輸入文本語(yǔ)義特征。

4.實(shí)驗(yàn)?zāi)Ｐ蜆?gòu)建及結(jié)果分析

(1)實(shí)驗(yàn)數(shù)據(jù)劃分

我們按照8∶1∶1的比例將HSK中高級(jí)閱讀文本數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。訓(xùn)練集用于訓(xùn)練模型,幫助模型調(diào)整自身參數(shù)以擬合數(shù)據(jù)集,共2076個(gè)文本;驗(yàn)證集用于調(diào)整模型超參數(shù),增強(qiáng)模型擬合能力,共259個(gè)文本;測(cè)試集用于計(jì)算模型預(yù)測(cè)準(zhǔn)確率,判斷模型效果,共260個(gè)文本。

我們將HSK中高級(jí)閱讀文本難度自動(dòng)分級(jí)任務(wù)抽象成分類任務(wù),抽取漢字、詞匯、語(yǔ)法、語(yǔ)義四個(gè)層面特征作為文本特征。使用支持向量機(jī)(SVM)②Cortes,C.,&Vapnik,V.,Support-vector Networks,Machine Learning,vol.20,no.3,1995,pp.273-297.、K近鄰(KNN)③Cover,T.,&Hart,P.,Nearest Neighbor Pattern Classification,IEEE Transactions on Information Theory,vol.13,no.1,1967,pp.21-27.、樸素貝葉斯(NB)④Lewis,D.D.,Naive (Bayes)at Forty:The Independence Assumption in Information Retrieval,In European Conference on Machine Learning,Springer,Berlin,Heidelberg,1998,pp.4-15.、決策樹(shù)(DT)⑤Quinlan,J.R.,Induction of Decision Trees,Machine Learning,vol.1,no.1,1986,pp.81-106.、Adaboost(Freund,1999)和隨機(jī)森林(RF)⑥Breiman,L.,Random Forests,Machine Learning,vol.45,no.1,2001,pp.5-32.算法作為模型分類算法。

(2)實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

我們將HSK中高級(jí)閱讀文本難度自動(dòng)分級(jí)任務(wù)抽象成分類任務(wù),故而采用分類模型評(píng)價(jià)指標(biāo)準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)、調(diào)和值(F1),來(lái)衡量模型在該任務(wù)上的有效性。

(3)實(shí)驗(yàn)結(jié)果

為探究最適合HSK中高級(jí)閱讀文本難度分級(jí)任務(wù)的特征組合與分類算法,我們對(duì)不同分類算法的預(yù)測(cè)效果進(jìn)行了實(shí)驗(yàn),也對(duì)多維等級(jí)特征的預(yù)測(cè)效果進(jìn)行了討論,對(duì)不同特征及其組合的整體預(yù)測(cè)效果和對(duì)不同級(jí)別文本的預(yù)測(cè)準(zhǔn)確率進(jìn)行了比較。

①不同分類算法的預(yù)測(cè)能力

為了探究不同分類算法在HSK中高級(jí)閱讀文本難度自動(dòng)分級(jí)任務(wù)上的精度,我們選擇“漢字+詞匯+語(yǔ)法+語(yǔ)義”特征組合,比較不同分類算法在該特征組合下,在HSK中高級(jí)閱讀文本數(shù)據(jù)集上的預(yù)測(cè)效果,統(tǒng)計(jì)結(jié)果見(jiàn)表6。

表6 不同分類算法下的預(yù)測(cè)效果統(tǒng)計(jì)表

由表6可知,在當(dāng)前特征組合下,隨機(jī)森林算法在四項(xiàng)指標(biāo)上均獲得了最佳效果,支持向量機(jī)算法次之。原因可能是由于隨機(jī)森林是一種集成式算法,通過(guò)構(gòu)造多個(gè)決策樹(shù)對(duì)預(yù)測(cè)結(jié)果進(jìn)行投票,具有更好的模型泛化性。因此我們決定選用隨機(jī)森林算法進(jìn)行后續(xù)實(shí)驗(yàn)。

②單一層面特征以及多維特征組合的預(yù)測(cè)能力

為探究不同特征對(duì)HSK中高級(jí)閱讀文本難度自動(dòng)分級(jí)的影響,我們以預(yù)測(cè)準(zhǔn)確率最佳的隨機(jī)森林算法為分類模型,比較漢字、詞匯、語(yǔ)法和語(yǔ)義特征及其組合在HSK中高級(jí)閱讀文本數(shù)據(jù)集上的預(yù)測(cè)效果。不同特征組合下模型準(zhǔn)確率、精確率、召回率、F1值見(jiàn)表7。

表7 漢字、詞匯、語(yǔ)法和語(yǔ)義層面特征及其組合預(yù)測(cè)效果統(tǒng)計(jì)表

從單一層面來(lái)看,語(yǔ)義(BERT)對(duì)文本難度預(yù)測(cè)準(zhǔn)確率最高。除此之外,從語(yǔ)言要素——漢字、詞匯、語(yǔ)法角度來(lái)看,單一層面詞匯預(yù)測(cè)效果最佳。

從多維特征組合層面來(lái)看,可以發(fā)現(xiàn)“漢字+詞匯+語(yǔ)法+語(yǔ)義(BERT)”特征組合在準(zhǔn)確率、精確率、召回率、F1值上均獲得了最佳效果,說(shuō)明漢字、詞匯、語(yǔ)法、語(yǔ)義層面特征對(duì)于文本難度衡量均具有重要作用。值得一提的是,“漢字+詞匯+語(yǔ)法”這一組合方式準(zhǔn)確率、精準(zhǔn)率、召回率均達(dá)到了80%以上,F1值為79.63%。該結(jié)果揭示了《標(biāo)準(zhǔn)》對(duì)HSK中高級(jí)閱讀文本具有一定的指導(dǎo)意義。

在語(yǔ)義層面特征中,相比DeBERTa,BERT語(yǔ)義特征在難度等級(jí)分級(jí)任務(wù)上表現(xiàn)更好,這可能是因?yàn)閮烧咴趯?duì)每個(gè)詞語(yǔ)的編碼方式上存在一定差異。BERT在輸入層中每個(gè)詞語(yǔ)用內(nèi)容嵌入和位置嵌入拼接向量表示,而DeBERTa采用注意力解耦機(jī)制,每個(gè)詞用內(nèi)容嵌入和位置嵌入兩個(gè)向量表示。在文本難度評(píng)級(jí)任務(wù)中,由于文本中每個(gè)詞語(yǔ)義內(nèi)容與位置關(guān)系相對(duì)較為緊密,每個(gè)詞更適合用內(nèi)容嵌入和位置嵌入的拼接向量表示,因此,與DeBERTa相比,BERT語(yǔ)義特征更適合本任務(wù)。

語(yǔ)義特征的加入,使模型預(yù)測(cè)準(zhǔn)確率得到了較大幅度提升。從實(shí)驗(yàn)結(jié)果來(lái)看,BERT模型提取到的深度語(yǔ)義特征能夠在一定程度上代表文本中所表達(dá)的語(yǔ)義信息。

③單一層面特征及多維特征組合在不同級(jí)別文本上的預(yù)測(cè)能力

以表現(xiàn)最優(yōu)的隨機(jī)森林算法作為分類模型,比較漢字、詞匯、語(yǔ)法和語(yǔ)義特征及其組合在HSK中高級(jí)閱讀文本數(shù)據(jù)集上對(duì)不同級(jí)別文本的預(yù)測(cè)效果。我們用精確率這一指標(biāo),來(lái)衡量模型在不同級(jí)別的預(yù)測(cè)精度。不同特征組合下模型在四級(jí)文本、五級(jí)文本、六級(jí)文本上的預(yù)測(cè)精確率見(jiàn)表8。

表8 不同特征組合對(duì)不同級(jí)別文本預(yù)測(cè)精確率統(tǒng)計(jì)表

從表8中可以發(fā)現(xiàn),就單一層面特征來(lái)看,對(duì)HSK四級(jí)閱讀文本來(lái)說(shuō),詞匯預(yù)測(cè)精確率最高(0.8780),語(yǔ)義次之(0.8605);對(duì)HSK五級(jí)和六級(jí)閱讀文本來(lái)說(shuō),語(yǔ)義維度預(yù)測(cè)精確率依然最高,與表7一致。

就多維特征組合層面來(lái)看,“漢字+詞匯+語(yǔ)法+語(yǔ)義(BERT)”特征組合方式在四級(jí)文本和六級(jí)文本上的預(yù)測(cè)精確率均達(dá)到了最佳水平,且遠(yuǎn)高于其他特征組合方式。在五級(jí)文本預(yù)測(cè)精確率上,“漢字+詞匯+語(yǔ)法+語(yǔ)義(BERT+DeBERTa)”特征組合方式取得了精確率為0.8244的最佳效果,“漢字+詞匯+語(yǔ)法+語(yǔ)義(BERT)”特征組合方式次之,精確率為0.8188。因此,綜合來(lái)看,“漢字+詞匯+語(yǔ)法+語(yǔ)義(BERT)”特征組合方式預(yù)測(cè)能力最佳。

三、結(jié)論與討論

1.各層面特征及多維特征組合模型預(yù)測(cè)能力

本研究結(jié)果顯示,加入語(yǔ)義特征的多維特征組合模型,就語(yǔ)言要素特征組合而言,具有更好的預(yù)測(cè)能力。與此同時(shí),就單一層面特征來(lái)說(shuō),基于語(yǔ)義特征的模型預(yù)測(cè)準(zhǔn)確率最高,即使是基于漢字、詞匯、語(yǔ)法三種特征組合的模型,其預(yù)測(cè)能力也略遜色于單一語(yǔ)義特征。語(yǔ)義特征是一種更具有普適意義的特征,可適用于不同應(yīng)用場(chǎng)景(如二語(yǔ)文本和母語(yǔ)文本),不同文本類型(如科技文本和文學(xué)文本),具有較強(qiáng)泛化能力。因此,對(duì)于中文文本難度分級(jí)的研究,關(guān)注語(yǔ)義特征是十分必要的。

單一層面特征中,基于詞匯特征的模型預(yù)測(cè)準(zhǔn)確率位于第二。詞匯特征是在眾多研究中被廣泛證明的有效特征。①Feng L.,Jansche M.,Huenerfauth M.,etal.,A Comparison of Features for Automatic Readability Assessment,23rd International Conference on Computational Linguistics,Posters Volume,23-27 August 2010,Beijing,China,Association for Computational Linguistics,2010.②宋曜廷、陳茹玲、李宜憲、查日蘇、曾厚強(qiáng)、林維駿、張道行、張國(guó)恩:《中文文本可讀性探討:指標(biāo)選取,模型建立與效度驗(yàn)證》,《中華心理學(xué)刊》2013年第1期。③吳思遠(yuǎn)、于東、江新《漢語(yǔ)文本可讀性特征體系構(gòu)建和效度驗(yàn)證》,《世界漢語(yǔ)教學(xué)》2020年第1期。④杜月明、王亞敏、王蕾:《漢語(yǔ)水平考試(HSK)閱讀文本可讀性自動(dòng)評(píng)估研究》,《語(yǔ)言文字應(yīng)用》2022年第3期。本研究以《標(biāo)準(zhǔn)》中的詞匯大綱為原型,構(gòu)建了適用于國(guó)際中文教育領(lǐng)域的詞匯特征,在面向HSK中高級(jí)閱讀文本的難度分級(jí)上,呈現(xiàn)了較好的預(yù)測(cè)能力。

基于漢字特征的模型預(yù)測(cè)準(zhǔn)確率位于第三。不同于英文文本,漢字是漢語(yǔ)的文字載體,因此,漢字對(duì)文本難度的影響也不容忽視。眾多學(xué)者對(duì)于文本難度分級(jí)的研究都將漢字因素納入其特征體系。①郭望皓:《對(duì)外漢語(yǔ)文本易讀性公式研究》,上海交通大學(xué)碩士學(xué)位論文,2010。②左虹、朱勇:《中級(jí)歐美留學(xué)生漢語(yǔ)文本可讀性公式研究》,《世界漢語(yǔ)教學(xué)》2014年第2期。③王蕾:《初中級(jí)日韓學(xué)習(xí)者漢語(yǔ)文本可讀性公式研究》,《語(yǔ)言教學(xué)與研究》2017年第5期。④劉苗苗、李燕、王欣萌、甘琳琳、李虹:《分級(jí)閱讀初探:基于小學(xué)教材的漢語(yǔ)可讀性公式研究》,《語(yǔ)言文字應(yīng)用》2021年第2期。在本研究中,同樣證明了漢字對(duì)于文本難度分級(jí)預(yù)測(cè)的重要作用。

基于語(yǔ)法特征的模型預(yù)測(cè)準(zhǔn)確率最低,僅在58%左右。說(shuō)明僅依據(jù)語(yǔ)法難度對(duì)文本進(jìn)行難度分級(jí)效果較差。然而,在漢字特征與詞匯特征基礎(chǔ)之上,加入語(yǔ)法特征,其預(yù)測(cè)準(zhǔn)確率達(dá)到了80%左右。由此可見(jiàn),語(yǔ)法特征的加入可顯著提高模型預(yù)測(cè)能力。該結(jié)論在朱君輝關(guān)于漢語(yǔ)語(yǔ)法點(diǎn)特征的研究中亦得到證明。⑤朱君輝、劉鑫、楊麟兒、王鴻濱、楊爾弘:《漢語(yǔ)語(yǔ)法點(diǎn)特征及其在二語(yǔ)文本難度自動(dòng)分級(jí)研究中的應(yīng)用》,《語(yǔ)言文字應(yīng)用》2022年第3期。

就多維特征組合層面而言,融合BERT語(yǔ)義特征的多維特征組合模型預(yù)測(cè)準(zhǔn)確率最高,可達(dá)到85%以上,說(shuō)明本研究基于《標(biāo)準(zhǔn)》設(shè)計(jì)的漢字、詞匯、語(yǔ)法特征在融合語(yǔ)義特征之后,能夠較好地完成對(duì)HSK中高級(jí)閱讀文本的難度自動(dòng)分級(jí)任務(wù)。

2.最優(yōu)模型對(duì)不同級(jí)別的預(yù)測(cè)能力

在本研究中,基于漢字+詞匯+語(yǔ)法+語(yǔ)義多維特征組合的隨機(jī)森林模型是預(yù)測(cè)HSK中高級(jí)閱讀文本難度的最優(yōu)模型。在表8中,我們可以看到最優(yōu)模型對(duì)四級(jí)、五級(jí)、六級(jí)文本預(yù)測(cè)能力差異較大,模型對(duì)四級(jí)文本和六級(jí)文本預(yù)測(cè)能力顯著高于五級(jí)文本。因此,我們通過(guò)構(gòu)建混淆矩陣的方法,嘗試對(duì)測(cè)試集中的分級(jí)情況進(jìn)行進(jìn)一步分析,結(jié)果如圖5所示。

圖5 隨機(jī)森林模型預(yù)測(cè)結(jié)果的混淆矩陣

由圖5可知,在預(yù)測(cè)等級(jí)為四級(jí)和六級(jí)的文本中,均有少量文本真實(shí)等級(jí)是五級(jí);而在預(yù)測(cè)等級(jí)為五級(jí)的文本中,有一部分文本真實(shí)等級(jí)是六級(jí),少量文本真實(shí)等級(jí)是四級(jí)。由此可見(jiàn),模型可以較好地區(qū)分四級(jí)和六級(jí)文本,展示了對(duì)越級(jí)文本的顯著區(qū)分能力,對(duì)于位于中間的五級(jí)文本的區(qū)分能力,尚有進(jìn)步空間。

眾所周知,處于中間級(jí)別的文本具有模糊性,即使對(duì)專家而言,確定中間級(jí)別也是困難的,進(jìn)一步挖掘五級(jí)文本和六級(jí)文本之間的特征差異,或可提高模型對(duì)五級(jí)文本的預(yù)測(cè)能力。

四、結(jié)語(yǔ)

本研究將《標(biāo)準(zhǔn)》中漢字、詞匯、語(yǔ)法等級(jí)大綱作為特征集的主要特征,并融合基于深度學(xué)習(xí)的BERT語(yǔ)義特征,構(gòu)成本研究的多維特征集。通過(guò)對(duì)比六種常見(jiàn)機(jī)器學(xué)習(xí)算法在HSK中高級(jí)閱讀文本中的應(yīng)用,實(shí)現(xiàn)了基于多維特征的隨機(jī)森林(RF)算法模型對(duì)HSK中高級(jí)閱讀文本的難度自動(dòng)分級(jí)。研究結(jié)果表明:第一,單一特征維度語(yǔ)義特征對(duì)HSK中高級(jí)閱讀文本難度自動(dòng)分級(jí)精確率最高,加入語(yǔ)義特征的多維特征模型對(duì)HSK中高級(jí)閱讀文本難度自動(dòng)分級(jí)效果最佳。因此,面向文本難度分級(jí)的研究應(yīng)關(guān)注語(yǔ)義特征對(duì)文本難度的影響。第二,語(yǔ)言要素中,詞匯特征對(duì)HSK中高級(jí)閱讀文本難度預(yù)測(cè)能力最強(qiáng),漢字特征次之,加入語(yǔ)法特征之后,模型預(yù)測(cè)能力能夠得到顯著提升。第三,融合BERT語(yǔ)義特征的多維特征組合隨機(jī)森林算法模型對(duì)HSK中高級(jí)閱讀文本預(yù)測(cè)效果最佳,達(dá)到了85%左右。該模型在HSK四級(jí)、五級(jí)、六級(jí)閱讀文本中預(yù)測(cè)精準(zhǔn)率分別達(dá)到了92%、81%、85%,模型對(duì)四級(jí)和六級(jí)文本區(qū)分度較高,對(duì)五級(jí)和六級(jí)文本區(qū)分度較低,尚有進(jìn)一步優(yōu)化空間。

自《標(biāo)準(zhǔn)》發(fā)布以來(lái),由于其與大家熟悉的HSK大綱不完全一致,不斷有人質(zhì)疑兩者之間關(guān)系。本研究基于“漢字+詞匯+語(yǔ)法”特征組合方式的隨機(jī)森林算法模型,對(duì)HSK中高級(jí)閱讀文本預(yù)測(cè)能力可達(dá)到80%左右,對(duì)HSK四級(jí)和六級(jí)閱讀文本預(yù)測(cè)精準(zhǔn)率甚至達(dá)到了85%左右,對(duì)HSK五級(jí)閱讀文本預(yù)測(cè)精準(zhǔn)率在82%左右。這也從一個(gè)側(cè)面證明了《標(biāo)準(zhǔn)》作為國(guó)際中文教育領(lǐng)域唯一國(guó)家級(jí)標(biāo)準(zhǔn),與HSK中高級(jí)文本關(guān)聯(lián)度較高,可以為HSK優(yōu)化和改革奠定堅(jiān)實(shí)基礎(chǔ)。

(本文得到譚可人的協(xié)助,其所做工作包括實(shí)驗(yàn)設(shè)計(jì)、實(shí)驗(yàn)實(shí)施和結(jié)果分析,特此致謝!)