梁繼文，楊建林，王偉，王飛

（1.南京大學(xué)信息管理學(xué)院，南京 210023；2.江蘇省數(shù)據(jù)工程與知識(shí)服務(wù)重點(diǎn)實(shí)驗(yàn)室，南京 210023；3.江蘇省科學(xué)技術(shù)情報(bào)研究所，南京 210042）

1 引言

科技項(xiàng)目是側(cè)重科學(xué)研究與技術(shù)開發(fā)的獨(dú)立項(xiàng)目，旨在為社會(huì)經(jīng)濟(jì)發(fā)展與技術(shù)創(chuàng)新提供支持。近年來，國(guó)家在完善相應(yīng)政策法規(guī)的同時(shí)，著力提升對(duì)科技項(xiàng)目的資助力度以鼓勵(lì)科技創(chuàng)新，因此，科技項(xiàng)目肩負(fù)了更多的社會(huì)責(zé)任與使命。

高效的情報(bào)服務(wù)有助于提升科技項(xiàng)目政策法規(guī)的實(shí)施效果。科技項(xiàng)目后評(píng)估是情報(bào)服務(wù)流程中的核心環(huán)節(jié)：在科技項(xiàng)目通過考核之后，科技情報(bào)服務(wù)部門對(duì)有效的科技資源進(jìn)行整合、組織與分析，獲取的科技情報(bào)可對(duì)立項(xiàng)指南進(jìn)行動(dòng)態(tài)反饋，并提供指向性較強(qiáng)的科技情報(bào)服務(wù)，尤其是滿足企業(yè)/產(chǎn)業(yè)的情報(bào)需求[1]，更好地促進(jìn)官產(chǎn)學(xué)研融合與科技知識(shí)成果轉(zhuǎn)化，從總體上發(fā)揮科技情報(bào)服務(wù)的支持決策的功能。目前，科技項(xiàng)目管理中“重申請(qǐng)，輕評(píng)估”的現(xiàn)象時(shí)有發(fā)生，后期監(jiān)管力度欠缺，如何提升科技項(xiàng)目后期管理的效果成為學(xué)界關(guān)注的重點(diǎn)。

現(xiàn)有研究多數(shù)圍繞科技項(xiàng)目后評(píng)估指標(biāo)體系的構(gòu)建展開，指標(biāo)主要由成果產(chǎn)出、獲得獎(jiǎng)勵(lì)、培養(yǎng)人才等幾部分構(gòu)成[2]。成果評(píng)估部分傾向于使用文獻(xiàn)外部計(jì)量指標(biāo)，例如，以成果數(shù)量來評(píng)估項(xiàng)目完成程度與工作量、以成果的被引數(shù)量來評(píng)估項(xiàng)目的質(zhì)量等，這與我國(guó)新時(shí)期科技評(píng)估“破四唯”的理念背道而馳?！爸亓炕?，輕質(zhì)性”的成果評(píng)估會(huì)誘發(fā)一系列問題，例如，成果文獻(xiàn)研究?jī)?nèi)容與其初始設(shè)定研究?jī)?nèi)容不符，實(shí)際項(xiàng)目完成情況與預(yù)期結(jié)果相去甚遠(yuǎn)，項(xiàng)目后評(píng)估的高分項(xiàng)目名不副實(shí)、影響評(píng)審公正性，等等。產(chǎn)生上述問題的根本原因在于未能對(duì)成果內(nèi)容與科技項(xiàng)目的相關(guān)性進(jìn)行評(píng)估，導(dǎo)致部分科技項(xiàng)目利用與項(xiàng)目自身不相關(guān)/低相關(guān)的成果文獻(xiàn)充數(shù)。因此，對(duì)科技項(xiàng)目及其成果文獻(xiàn)的相關(guān)性進(jìn)行評(píng)估成為科技項(xiàng)目后評(píng)估體系中不可或缺的一環(huán)，這有助于科技項(xiàng)目產(chǎn)出更多高相關(guān)、高質(zhì)量的成果，發(fā)揮更多的應(yīng)用價(jià)值與社會(huì)效益。

本文擬選取2012—2019年江蘇省的科技項(xiàng)目，使用基于偽標(biāo)簽的半監(jiān)督學(xué)習(xí)方法，構(gòu)建基于BERT（bidirectional encoder representations from transformers）架構(gòu)的相似度計(jì)算模型，旨在通過科技項(xiàng)目與成果文獻(xiàn)的語義特征，識(shí)別出部分相關(guān)性較低、研究?jī)?nèi)容相對(duì)不相符的“可疑”的成果文獻(xiàn)。基于此對(duì)科技項(xiàng)目、成果文獻(xiàn)以及科技報(bào)告中存在的問題進(jìn)行分析，促進(jìn)科技情報(bào)服務(wù)機(jī)構(gòu)對(duì)科技報(bào)告資源的優(yōu)化建設(shè)與合理利用，完善科技項(xiàng)目后評(píng)估體系，綜合提升科技情報(bào)服務(wù)效率。

2 相關(guān)研究概述

通過同行評(píng)議來評(píng)估申請(qǐng)項(xiàng)目屬于項(xiàng)目的“前評(píng)估”，而通過科技項(xiàng)目管理部門對(duì)科技項(xiàng)目的成果進(jìn)行評(píng)價(jià)屬于項(xiàng)目的“后評(píng)估”[3]?，F(xiàn)有科技項(xiàng)目后評(píng)估研究可分為三類。

1）后評(píng)估指標(biāo)體系構(gòu)建研究

項(xiàng)目后評(píng)估主要發(fā)生在項(xiàng)目管理的驗(yàn)收評(píng)價(jià)與跟蹤評(píng)價(jià)階段，兩個(gè)階段具有不同的指標(biāo)體系：首先，在驗(yàn)收評(píng)價(jià)階段，主要基于科技管理的視角來構(gòu)建指標(biāo)體系，使用定性方法分析項(xiàng)目方案的合理性、項(xiàng)目完成度、完成質(zhì)量等。其次，在跟蹤評(píng)價(jià)階段，主要基于績(jī)效評(píng)估的視角構(gòu)建指標(biāo)體系，成果產(chǎn)出為“績(jī)”，成果效益為“效”。成果產(chǎn)出評(píng)估大多使用定量指標(biāo)，如成果論文/專利數(shù)量、成果被引數(shù)量、獲獎(jiǎng)數(shù)量等，而效益評(píng)估使用定性與定量的方法，定性分析經(jīng)濟(jì)/產(chǎn)業(yè)/技術(shù)的持續(xù)發(fā)展情況，定量計(jì)量新增產(chǎn)值/銷售額等。

國(guó)家自然科學(xué)基金委員會(huì)管理科學(xué)部側(cè)重于跟蹤評(píng)價(jià)階段，設(shè)置了六類一級(jí)評(píng)估指標(biāo)：報(bào)告論著、學(xué)術(shù)創(chuàng)新、政策建議、效益水平、國(guó)際交流與人才培養(yǎng)[4]；地方科技項(xiàng)目評(píng)估則將驗(yàn)收評(píng)價(jià)與跟蹤評(píng)價(jià)兩階段相融合，綜合構(gòu)建評(píng)估指標(biāo)體系[5-7]。

2）后評(píng)估方法研究

傳統(tǒng)的科技項(xiàng)目后評(píng)估方法主要包含專家法、對(duì)比分析法、邏輯框架法、層次分析法、模糊層次分析法、模糊綜合評(píng)估法等。近年來，學(xué)者進(jìn)行了評(píng)估方法的創(chuàng)新，如基于DEMA（double exponen‐tial moving average）-模 糊 綜 合 法[8]、數(shù) 據(jù) 包 絡(luò)法[9-10]、加權(quán)分值計(jì)數(shù)[11]等方法構(gòu)建績(jī)效評(píng)估模型，以及使用新興機(jī)器學(xué)習(xí)技術(shù)，如BP（back propaga‐tion）神經(jīng)網(wǎng)絡(luò)、SVM（support vector machines）等模型構(gòu)建項(xiàng)目評(píng)估模型[12]。

3）后評(píng)估結(jié)果應(yīng)用研究

后評(píng)估的成果評(píng)估結(jié)果具有較高的應(yīng)用價(jià)值，例如，基于國(guó)家自然科學(xué)基金委員會(huì)后評(píng)估結(jié)果分析特色結(jié)項(xiàng)單位、特優(yōu)立項(xiàng)人、結(jié)項(xiàng)單位優(yōu)勢(shì)學(xué)科[4]；基于地方科技管理部門后評(píng)估結(jié)果，圍繞技術(shù)發(fā)展、資源配置、科技成果轉(zhuǎn)化等情況進(jìn)行不同省份間的橫向?qū)Ρ萚9-10,13]、省份內(nèi)部的縱向分析[14]，促進(jìn)了區(qū)域間的合作與聯(lián)動(dòng)；基于文獻(xiàn)計(jì)量指標(biāo)分析科技項(xiàng)目對(duì)文獻(xiàn)被引的影響、項(xiàng)目與引文的關(guān)系[15-17]，或使用CiteSpace等科學(xué)計(jì)量軟件，通過科學(xué)知識(shí)圖譜將項(xiàng)目成果評(píng)估可視化[18]。

根據(jù)現(xiàn)有研究關(guān)注指標(biāo)體系的構(gòu)建與調(diào)整，或成果評(píng)估結(jié)果的應(yīng)用與分析，可以看出，成果評(píng)估是后評(píng)估體系的核心。但相關(guān)研究側(cè)重于從定量角度利用相關(guān)計(jì)量指標(biāo)進(jìn)行評(píng)價(jià)，缺乏對(duì)科技項(xiàng)目和成果文獻(xiàn)的內(nèi)容相關(guān)性評(píng)估。因此，有必要利用科技項(xiàng)目成果的內(nèi)容特征完善科技項(xiàng)目后評(píng)估體系。

3 研究方法

本文以江蘇省科技項(xiàng)目為例，通過語義匹配程度對(duì)科技項(xiàng)目及其成果文獻(xiàn)的相關(guān)性評(píng)估進(jìn)行探索與實(shí)踐。

目前，科技文獻(xiàn)數(shù)據(jù)庫常常以成果信息為主，僅標(biāo)注了科技項(xiàng)目的編號(hào)與名稱，蘊(yùn)含科技項(xiàng)目信息較少。由于科技項(xiàng)目名稱長(zhǎng)度受限，語義信息匱乏。此外，存在以下情況：①項(xiàng)目名稱缺失，如項(xiàng)目名稱為“江蘇省XX項(xiàng)目”；②項(xiàng)目編號(hào)有誤，如項(xiàng)目編號(hào)中數(shù)字1誤寫為L(zhǎng)、數(shù)字2誤寫為Z等；③項(xiàng)目編號(hào)對(duì)應(yīng)項(xiàng)目不唯一，如編號(hào)BK2XXX56同時(shí)對(duì)應(yīng)“江蘇省自然科學(xué)基金”與“江蘇省高校自然科學(xué)基金”，編號(hào)BK2XXX26同時(shí)對(duì)應(yīng)“江蘇省自然科學(xué)基金”“南通市科技計(jì)劃項(xiàng)目”與“南通市應(yīng)用研究計(jì)劃項(xiàng)目”。這些情況導(dǎo)致部分科技項(xiàng)目和成果文獻(xiàn)不對(duì)應(yīng)，需要進(jìn)一步補(bǔ)充項(xiàng)目的相關(guān)信息?？萍紙?bào)告反映了科技項(xiàng)目的預(yù)期目標(biāo)、研究?jī)?nèi)容與進(jìn)展，記錄了科研活動(dòng)全流程，可以為科技項(xiàng)目提供補(bǔ)充信息[19]。因此，本文使用科技報(bào)告外部信息補(bǔ)充項(xiàng)目的外部特征，使用高度概括研究?jī)?nèi)容的科技報(bào)告摘要補(bǔ)充項(xiàng)目的內(nèi)容特征。

現(xiàn)有研究常使用二分類方法判斷文本相關(guān)性，但在本研究中存在以下難點(diǎn)：深度學(xué)習(xí)參數(shù)優(yōu)化依賴大量標(biāo)注數(shù)據(jù)，目前缺少面向中文科技文本的相關(guān)性標(biāo)注數(shù)據(jù)集，而大量人工標(biāo)注的準(zhǔn)確性需要把控，時(shí)間成本較高，無監(jiān)督學(xué)習(xí)則難度較大。本研究使用數(shù)據(jù)增強(qiáng)的方法（data augmentation）對(duì)少量標(biāo)注數(shù)據(jù)進(jìn)行擴(kuò)充，用于緩解特征稀疏。本研究數(shù)據(jù)（詳見第4.1節(jié)）具有以下特點(diǎn)：成果作者通常與項(xiàng)目負(fù)責(zé)人屬于相同的學(xué)術(shù)社團(tuán)/機(jī)構(gòu)，即使成果內(nèi)容與項(xiàng)目?jī)?nèi)容相關(guān)程度低，由于學(xué)術(shù)社團(tuán)的研究領(lǐng)域相近，成果與項(xiàng)目仍同屬于同一領(lǐng)域或相近研究方向。因此，模型需要對(duì)較小的語義差異敏感，通過數(shù)據(jù)的相似傳遞性來進(jìn)行數(shù)據(jù)增強(qiáng)。具體過程為：若A與B相似，A與C相似，則可得B與C相似；若A與D不相似，則可得B/C與D不相似。使用該方法可將生成數(shù)據(jù)的相關(guān)性限定在一個(gè)可控差異的范圍內(nèi)，使模型對(duì)較小的語義差異更為敏感。

3.1 研究框架

本文的研究框架如圖1所示，總體上由數(shù)據(jù)采集與預(yù)處理、無監(jiān)督相似度排序與基于BERT的相似度計(jì)算三部分構(gòu)成。

圖1 科技項(xiàng)目及其成果文獻(xiàn)相關(guān)性研究的總體框架

項(xiàng)目與成果的數(shù)據(jù)采集與預(yù)處理詳見第4.1節(jié)。在無監(jiān)督相似度排序部分，將標(biāo)題/關(guān)鍵詞短文本與摘要長(zhǎng)文本向量化后，通過不同方法計(jì)算向量相似度來衡量項(xiàng)目-成果的淺層語義相似度，排序后獲取不同閾值下最不相關(guān)的項(xiàng)目-成果，人工標(biāo)注少量數(shù)據(jù)后，進(jìn)行模型測(cè)評(píng)；使用相似度排序?qū)?shù)據(jù)進(jìn)行強(qiáng)相關(guān)與不相關(guān)數(shù)據(jù)篩選，根據(jù)相似傳遞性進(jìn)行數(shù)據(jù)增強(qiáng)構(gòu)建標(biāo)注數(shù)據(jù)集。在基于BERT的相似度計(jì)算部分，構(gòu)建并訓(xùn)練基于BERT架構(gòu)的相似度計(jì)算模型，對(duì)科技項(xiàng)目-成果文獻(xiàn)的相似度進(jìn)行計(jì)算并排序后，分析低相關(guān)成果文獻(xiàn)。

3.2 模型構(gòu)建

3.2.1 無監(jiān)督語義相似度計(jì)算

在衡量文本相關(guān)程度時(shí)，現(xiàn)有研究常常計(jì)算文本余弦相似度，然后根據(jù)閾值來進(jìn)行相似性判定，但余弦相似度衡量向量空間中的向量夾角，與數(shù)值差異相比，方向差異更為敏感。假設(shè)有科技項(xiàng)目Fa，對(duì)應(yīng)成果文獻(xiàn)Pa1、Pa2，在缺少語境與對(duì)照信息的前提下，即使cos(Fa,Pa1)>0.9也無法直接證明成果文獻(xiàn)Pa1與項(xiàng)目Fa相關(guān)，因此，直接通過設(shè)定閾值進(jìn)行判斷的意義較小。本研究采用排序思想，即強(qiáng)相關(guān)成果文獻(xiàn)研究?jī)?nèi)容與項(xiàng)目更相似。假設(shè)cos(Fa,Pa1)>cos(Fa,Pa2)，則 與Pa2相 比，Pa1和Fa的相關(guān)性更高。

項(xiàng)目和成果文本主要包含標(biāo)題、關(guān)鍵詞短文本與摘要長(zhǎng)文本，本文將長(zhǎng)、短文本分而論之。對(duì)于摘要長(zhǎng)文本，分別使用三種方法計(jì)算相似度。

（1）M1：使用詞嵌入將文本向量化，將詞向量相加求平均值獲得句向量，計(jì)算句向量的余弦相似度。

（2）M2：根據(jù)詞匯在文本中的重要程度計(jì)算詞向量的權(quán)重，將加權(quán)詞向量相加獲取句向量，計(jì)算句向量的余弦相似度。

（3）WMD（word mover's distance）：充分利用詞嵌入的領(lǐng)域遷移能力的同時(shí)，不依賴標(biāo)注數(shù)據(jù)，可將相似度計(jì)算任務(wù)轉(zhuǎn)化為線性規(guī)劃問題，并擁有全局最優(yōu)解。

上述三種方法均使用word2vec進(jìn)行詞向量的訓(xùn)練，可將高維稀疏的文本表示為低維密集、蘊(yùn)含豐富語義信息的分布式詞向量，在一定程度上對(duì)標(biāo)題與關(guān)鍵詞短文本詞向量進(jìn)行擴(kuò)展[20]。

對(duì)于關(guān)鍵詞短文本，本文使用互信息均值來計(jì)算項(xiàng)目-成果相關(guān)程度。因?yàn)榛バ畔⑤^大的兩個(gè)詞經(jīng)常同時(shí)出現(xiàn)，所以可以體現(xiàn)出兩個(gè)詞相互依賴程度。本文將成果與項(xiàng)目的關(guān)鍵詞進(jìn)行匹配。匹配不成功的成果關(guān)鍵詞由多個(gè)詞組成，將其分詞后再次與項(xiàng)目關(guān)鍵詞匹配。對(duì)于標(biāo)題短文本，使用BERT[21]模型進(jìn)行預(yù)訓(xùn)練，基于上下文語境，獲取標(biāo)題文本的動(dòng)態(tài)句向量后計(jì)算余弦相似度。模型具體原理參見第3.2.2節(jié)。

3.2.2 基于BERT的相似度計(jì)算模型構(gòu)建

1）融合模型

本文提出了基于BERT架構(gòu)的多模型融合的相似度計(jì)算方法，模型示意圖如圖2所示。

圖2 基于BERT架構(gòu)的融合模型示意圖

BERT[21]是基于Transformer架構(gòu)的語言表征模型，雙向自注意力機(jī)制可以更好地提取上下文語義特征；在大規(guī)模語料上以masked language model與next sentence predict為目標(biāo)進(jìn)行無監(jiān)督訓(xùn)練，使其具有較強(qiáng)的泛化能力。

在輸入部分，BERT分別對(duì)兩個(gè)輸入的句子進(jìn)行表示學(xué)習(xí)（sentence embedding），[CLS]是句子的首個(gè)Token，最終對(duì)應(yīng)隱層的輸出作為整個(gè)句子的向量表示；[SEP]是兩個(gè)句子的分隔符。原始文本輸入后，經(jīng)過Token Embedding層、Segment Embed‐ding層與Position Embedding層，先將文本的Token轉(zhuǎn)換成固定維度的向量，再將句子向量拼接，并且加入文本序列位置信息，最終得到動(dòng)態(tài)向量來表征上下文語義。此外，模型對(duì)單字符進(jìn)行了處理，避免了中文分詞時(shí)歧義與領(lǐng)域未登錄詞帶來的誤差。在模型的輸出部分接全連接層，取最后一層中每個(gè)句子的CLS作為模型的輸出，然后輸入全連接層，通過Softmax獲取每個(gè)句子的類別概率。

BERT對(duì)文本進(jìn)行mask時(shí)僅遮蓋單字符，僅使用BERT處理中文任務(wù)時(shí)，會(huì)忽略較多實(shí)體/短語的語義信息，但科技文本學(xué)科特性強(qiáng)、存在大量領(lǐng)域?qū)嶓w與專業(yè)概念，實(shí)體/短語的語義信息不容忽視。因此，本文將ERNIE（enhanced representation through knowledge integration）與RoBERTa（a robustly opti‐mized BERT pretraining approach）兩種模型與BERT模型進(jìn)行集成。其中，ERNIE[22]在預(yù)訓(xùn)練中加入海量多源數(shù)據(jù)，處理中文時(shí)將實(shí)體/短語等先驗(yàn)知識(shí)masking，從而模型可以對(duì)這些先驗(yàn)知識(shí)建模并學(xué)習(xí)語義；RoBERTa-large-pair[23]是面向句對(duì)任務(wù)提出的預(yù)訓(xùn)練模型，采取動(dòng)態(tài)mask，將BERT中的NSP（next sentence prediction）任務(wù)替換為連續(xù)長(zhǎng)文本輸入，使用了更大的batch以及BERT 10倍的預(yù)訓(xùn)練數(shù)據(jù)量，能夠較好地提取句對(duì)的語義信息特征。綜上所述，本文選用BERT、RoBERTa-large-pair與ERNIE三種模型進(jìn)行模型融合。在輸出部分使用反函數(shù)，獲取各個(gè)模型Softmax歸一化的特征值再求平均，增加樣本概率差異，獲取更多的語義信息。

2）對(duì)抗訓(xùn)練

在模型中增加對(duì)抗訓(xùn)練（adversarial training）防止模型過擬合。對(duì)抗訓(xùn)練由Goodfellow等[24]提出并應(yīng)用在圖像領(lǐng)域，通過適當(dāng)增加對(duì)抗訓(xùn)練會(huì)造成誤判的干擾樣本，來增強(qiáng)神經(jīng)網(wǎng)絡(luò)的魯棒性。本文在表示學(xué)習(xí)階段的embedding層加入對(duì)抗訓(xùn)練，構(gòu)建對(duì)抗樣本后加入初始詞向量對(duì)embedding矩陣進(jìn)行擾動(dòng)，提升文本表示的質(zhì)量?；驹砉絒25]為

其中，x、y與D分別代表輸入的數(shù)據(jù)、標(biāo)簽與訓(xùn)練集；Δx與Ω是對(duì)抗擾動(dòng)與擾動(dòng)空間；θ是模型參數(shù)；L(x+Δx,y;θ)則是單個(gè)樣本的loss；max是實(shí)現(xiàn)原始數(shù)據(jù)對(duì)應(yīng)對(duì)抗樣本訓(xùn)練時(shí)的損失最大化。在計(jì)算Δx時(shí)，本文使用FGSM方法（fast gradient sign method）[24]，即

使用反向傳播梯度下降后進(jìn)行標(biāo)準(zhǔn)化，以防Δx過大。

3）半監(jiān)督學(xué)習(xí)

深度學(xué)習(xí)模型中參數(shù)優(yōu)化依賴于大量的標(biāo)注數(shù)據(jù)，但實(shí)踐研究中獲取標(biāo)注數(shù)據(jù)具有較高的人力成本與時(shí)間成本，而半監(jiān)督學(xué)習(xí)可以在基于少量標(biāo)注數(shù)據(jù)提取特征的同時(shí)，學(xué)習(xí)整體數(shù)據(jù)樣本的分布與結(jié)構(gòu)。本文將標(biāo)注數(shù)據(jù)與未標(biāo)注數(shù)據(jù)相結(jié)合，使用基于偽標(biāo)簽的半監(jiān)督學(xué)習(xí)方法進(jìn)行模型訓(xùn)練，旨在借助未標(biāo)注數(shù)據(jù)提升模型整體性能[26-27]。半監(jiān)督學(xué)習(xí)訓(xùn)練流程如圖3所示，使用訓(xùn)練集中的標(biāo)注數(shù)據(jù)訓(xùn)練模型，然后通過該模型預(yù)測(cè)未標(biāo)注數(shù)據(jù)后生成偽標(biāo)簽，從而轉(zhuǎn)化為有監(jiān)督學(xué)習(xí)，完成模型訓(xùn)練。

圖3 基于偽標(biāo)簽的半監(jiān)督學(xué)習(xí)

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)采集與預(yù)處理

實(shí)驗(yàn)數(shù)據(jù)由科技項(xiàng)目數(shù)據(jù)與成果文獻(xiàn)數(shù)據(jù)組成。科技項(xiàng)目數(shù)據(jù)來自江蘇省科技報(bào)告共享服務(wù)系統(tǒng)①http://www.jsstrs.cn/BaogaoLiulan.aspx，由項(xiàng)目基本信息與科技報(bào)告組成。成果文獻(xiàn)數(shù)據(jù)涵蓋論文與專利，但現(xiàn)有專利數(shù)據(jù)中缺少所屬項(xiàng)目編號(hào)，無法確定項(xiàng)目的專利產(chǎn)出，因此，本文將成果文獻(xiàn)限定為論文型成果，選取2012—2019年的江蘇省科技項(xiàng)目，提取科技項(xiàng)目數(shù)據(jù)中的項(xiàng)目名稱、項(xiàng)目編號(hào)與項(xiàng)目類型。通過科技項(xiàng)目的編號(hào)與名稱獲取科技報(bào)告，提取科技報(bào)告的報(bào)告名稱、報(bào)告摘要、項(xiàng)目編號(hào)、報(bào)告關(guān)鍵詞、技術(shù)領(lǐng)域、立項(xiàng)人單位等信息。成果文獻(xiàn)數(shù)據(jù)通過項(xiàng)目的編號(hào)在CNKI（China National Knowledge Infrastructure）學(xué)術(shù)期刊數(shù)據(jù)庫中進(jìn)行匹配獲取，提取匹配文獻(xiàn)的標(biāo)題、摘要、關(guān)鍵詞、項(xiàng)目編號(hào)、作者單位以及中圖分類號(hào)等信息。

首先，通過項(xiàng)目編號(hào)匹配項(xiàng)目與成果；其次，提取識(shí)別編號(hào)相同、但映射項(xiàng)目標(biāo)題不同的成果數(shù)據(jù)，剔除不屬于江蘇省科技項(xiàng)目的成果；最后，對(duì)比項(xiàng)目、報(bào)告與成果數(shù)據(jù)中的項(xiàng)目名稱與編號(hào)，進(jìn)行多向匹配與信息修正。科技項(xiàng)目-成果文獻(xiàn)呈一對(duì)一、一對(duì)多或多對(duì)一的關(guān)系，共獲取到待評(píng)估項(xiàng)目-成果數(shù)據(jù)24036條。統(tǒng)計(jì)項(xiàng)目對(duì)應(yīng)成果的數(shù)量分布，結(jié)果如圖4所示。由圖4可知，對(duì)應(yīng)1篇成果文獻(xiàn)的項(xiàng)目有1280項(xiàng)，占總數(shù)的25.54%；對(duì)應(yīng)成果3篇及以下的項(xiàng)目共2765項(xiàng)，占總數(shù)的55.18%。

圖4 不同成果數(shù)量的項(xiàng)目分布

按照項(xiàng)目類別對(duì)科技項(xiàng)目及其發(fā)文情況進(jìn)行統(tǒng)計(jì)?；A(chǔ)類研究計(jì)劃、重點(diǎn)研發(fā)計(jì)劃、臨床醫(yī)學(xué)專項(xiàng)、政策引導(dǎo)類計(jì)劃（產(chǎn)學(xué)研合作）項(xiàng)目的成果文獻(xiàn)產(chǎn)出率較高，分別為65.05%、51.06%、90.32%與65.56%；而科技型企業(yè)中的創(chuàng)業(yè)企業(yè)孵育、企業(yè)技術(shù)創(chuàng)新類項(xiàng)目的成果文獻(xiàn)產(chǎn)出率極低，僅為8.09%與6.45%，這是因?yàn)榭萍柬?xiàng)目成果包含論文與專利兩種形式，而企業(yè)為了保護(hù)自身知識(shí)與技術(shù)產(chǎn)權(quán)更傾向于申請(qǐng)專利。

對(duì)相互匹配的項(xiàng)目-成果的標(biāo)題、摘要與關(guān)鍵詞部分進(jìn)行數(shù)據(jù)清洗，補(bǔ)全或刪除缺失值，轉(zhuǎn)換文本中的html（hyper text markup language）實(shí)體。觀察報(bào)告摘要發(fā)現(xiàn)，大量報(bào)告摘要結(jié)尾部分存在過多關(guān)于項(xiàng)目成果數(shù)量的描述，如“發(fā)表文獻(xiàn)x篇、培養(yǎng)碩博x名、獲得省級(jí)獎(jiǎng)勵(lì)x項(xiàng)、申請(qǐng)專利x項(xiàng)”等，此類文本無法體現(xiàn)研究?jī)?nèi)容的語義，因此，在利用模式匹配識(shí)別此類內(nèi)容后進(jìn)行刪除。此外，使用word2vec進(jìn)行文本向量化時(shí)需進(jìn)行中文分詞，本文使用jieba分詞，將科技報(bào)告與成果的關(guān)鍵詞作為補(bǔ)充詞典，用于提升領(lǐng)域文本分詞的準(zhǔn)確性。

采用人工的方式標(biāo)注少量數(shù)據(jù)。將文本對(duì)分為“強(qiáng)相關(guān)”“弱相關(guān)”與“不相關(guān)”三類，由江蘇省科學(xué)技術(shù)情報(bào)研究所專業(yè)人員與南京大學(xué)情報(bào)學(xué)專業(yè)博士研究生同時(shí)對(duì)成果文獻(xiàn)大于40篇的15項(xiàng)科技項(xiàng)目進(jìn)行標(biāo)注并校對(duì)，獲取項(xiàng)目-成果數(shù)據(jù)795條，15個(gè)項(xiàng)目的項(xiàng)目類型分布較為均衡，涵蓋重點(diǎn)研發(fā)計(jì)劃、基礎(chǔ)研發(fā)計(jì)劃、科技設(shè)施類、產(chǎn)學(xué)研合作等，技術(shù)領(lǐng)域涵蓋醫(yī)學(xué)、裝備制造、電子信息、社會(huì)事業(yè)等。由初步分析標(biāo)注數(shù)據(jù)可知，不同項(xiàng)目的標(biāo)注結(jié)果差異較大：項(xiàng)目F1、F2、F10與F11所對(duì)應(yīng)的成果文獻(xiàn)全部相關(guān)；F4、F8、F6、F15、F9對(duì)應(yīng)成果文獻(xiàn)中，完全不相關(guān)類別占比偏少（<50%）；F5、F3、F12、F7、F14對(duì)應(yīng)成果文獻(xiàn)中，完全不相關(guān)類別占比偏多（>50%）。

4.2 實(shí)驗(yàn)設(shè)計(jì)

4.2.1 無監(jiān)督語義相似度排序

首先，使用word2vec在科技項(xiàng)目、成果文獻(xiàn)的標(biāo)題與摘要文本上訓(xùn)練詞向量模型，選用基于當(dāng)前詞預(yù)測(cè)上下文的Skip-Gram結(jié)構(gòu)，窗口大小設(shè)置為10，向量維度為256，詞頻閾值為5。然后，使用bert-serving-server②https://pypi.org/project/bert-serving-server/生成維度為768的標(biāo)題短文本的動(dòng)態(tài)句向量。最后，使用通過不同方法生成的句向量，分別計(jì)算項(xiàng)目-成果的余弦相似度、詞移距離與互信息值。

在測(cè)評(píng)時(shí)，為選取與科技項(xiàng)目相關(guān)程度最低的成果文獻(xiàn)，將不同模型計(jì)算出的項(xiàng)目-成果相似度分別按降序排序，排名最后的項(xiàng)目-成果相似度最低。設(shè)定閾值n來選取低于閾值、相關(guān)性最低的項(xiàng)目-成果數(shù)據(jù)，鑒于項(xiàng)目對(duì)應(yīng)成果數(shù)量存在差異，本文從數(shù)量與占比兩方面設(shè)定n值：5篇成果以及成果量的四分位數(shù)（25%）、三分位數(shù)（33.33%）與中位數(shù)（50%）。

針對(duì)不相關(guān)成果數(shù)量占比偏少的項(xiàng)目與占比偏多的項(xiàng)目，計(jì)算不同閾值n時(shí)的F值，結(jié)果如圖5和圖6所示。在F值方面，無監(jiān)督模型測(cè)評(píng)值多數(shù)未超過70%，總體表現(xiàn)欠佳。在n的取值方面，由圖5可知，在不相關(guān)成果占比較少的項(xiàng)目中情況各異，四分位數(shù)效果略好于其他閾值，且當(dāng)n=5時(shí)，F(xiàn)值整體較低，即在成果內(nèi)容差異較大的情況下，無監(jiān)督模型仍未能對(duì)項(xiàng)目-成果的相關(guān)程度做出較好的區(qū)分；由圖6可知，在不相關(guān)成果占比較多的項(xiàng)目中，中位數(shù)是較好的選擇，但主要由于該類項(xiàng)目不相關(guān)成果文獻(xiàn)量均超過總體半數(shù)所導(dǎo)致。在模型選取方面，如圖5所示，項(xiàng)目F8在以四分位數(shù)為閾值時(shí)的BERT模型表現(xiàn)最好，F(xiàn)值為66.67%；如圖6所示，項(xiàng)目F3在以中位數(shù)為閾值時(shí)的M1表現(xiàn)最 好，F(xiàn)值 為71.93%?？?體 來 看，M1、M2、WMD、BERT與互信息在多個(gè)項(xiàng)目中表現(xiàn)各異，沒有在多個(gè)項(xiàng)目中均表現(xiàn)突出的模型。綜上所述，僅通過將文本向量化，并計(jì)算向量淺層語義相似度的方法，無法較好地滿足區(qū)分項(xiàng)目-成果的相關(guān)程度的需求。

圖5 不相關(guān)成果占比較少的項(xiàng)目相似度測(cè)評(píng)

圖6 不相關(guān)成果占比較多的項(xiàng)目相似度測(cè)評(píng)

4.2.2 基于BERT的語義相似度計(jì)算

構(gòu)造本節(jié)實(shí)驗(yàn)的標(biāo)注數(shù)據(jù)集。基于上文中無監(jiān)督相似度計(jì)算模型，計(jì)算所有數(shù)據(jù)的相似度并排序，使用具有統(tǒng)計(jì)意義的四分位數(shù)作為篩選條件，分別取各模型相似度排序最高與最低的四分之一部分，取并集作為訓(xùn)練數(shù)據(jù)。鑒于不相關(guān)成果與強(qiáng)、弱相關(guān)成果的內(nèi)容存在明顯差異，因此，將強(qiáng)相關(guān)與弱相關(guān)類別合并為相關(guān)類別。與人工標(biāo)注數(shù)據(jù)進(jìn)行合并、去重后共得到4423條數(shù)據(jù)，其中相關(guān)數(shù)據(jù)2574條，不相關(guān)數(shù)據(jù)1849條。

進(jìn)行數(shù)據(jù)增強(qiáng)后，保持?jǐn)?shù)據(jù)集與原始數(shù)據(jù)的學(xué)科分布相似、類別平衡，獲取標(biāo)注數(shù)據(jù)18086條。分別提取數(shù)據(jù)中的標(biāo)題與摘要，分別構(gòu)建項(xiàng)目-成果標(biāo)題短文本數(shù)據(jù)集、項(xiàng)目-成果摘要長(zhǎng)文本數(shù)據(jù)集。將數(shù)據(jù)集按照7∶2∶1的比例劃分為訓(xùn)練集、驗(yàn)證集與測(cè)試集。

1）實(shí)驗(yàn)設(shè)置

使用Python語言基于TensorFlow 1.12.0框架與Keras 2.2.4模塊構(gòu)建如圖3所示的模型，在8G內(nèi)存的Linux系統(tǒng)中搭載NVIDIA Quadro K1200 GPU，分別在項(xiàng)目-成果標(biāo)題短文本與摘要長(zhǎng)文本數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

BERT預(yù)訓(xùn)練模型選用BERT-Base，ERNIE預(yù)訓(xùn)練模型選用ERNIE 1.0 Base中文版，將其由Paddle Paddle框架轉(zhuǎn)換為適用于TensorFlow框架的結(jié)構(gòu)；RoBERTa預(yù)訓(xùn)練模型選用RoBERTa-large-pair大句子對(duì)模型。

超 參 數(shù)設(shè)置為：BERT與ERNIE的batch_size為16，RoBERTa的batch_size為8，learning_rate為1e-5，dropout_rate為0.2，Epoch為5。此外，為了避免出現(xiàn)過擬合的情況，使用Early stopping方法。

在設(shè)置max_length參數(shù)時(shí)，成果與項(xiàng)目標(biāo)題長(zhǎng)度的均值為21，在訓(xùn)練標(biāo)題短文本時(shí)，設(shè)置參數(shù)為32；成果與項(xiàng)目摘要長(zhǎng)度的均值分別為334與404，但仍存在部分文本長(zhǎng)度大于BERT模型可以處理的最長(zhǎng)文本序列512?，F(xiàn)有研究常采用截?cái)喾ㄟM(jìn)行長(zhǎng)文本處理：將長(zhǎng)文本前128個(gè)字符+后382個(gè)字符拼接[28]。觀察摘要文本后可知，規(guī)范的摘要均以目的或內(nèi)容作為開頭，并在結(jié)尾對(duì)研究?jī)?nèi)容進(jìn)行總結(jié)，因此，開頭與結(jié)尾文本滿足實(shí)驗(yàn)要求。在訓(xùn)練摘要時(shí)，設(shè)置max_length為512。此外，需要保證訓(xùn)練集、驗(yàn)證集與測(cè)試集的數(shù)據(jù)獨(dú)立同分布，訓(xùn)練集、驗(yàn)證集與測(cè)試集中的標(biāo)題與摘要句長(zhǎng)分布如圖7a~圖7d所示，由此可知分布大致相同，符合要求。

圖7 Train、Dev標(biāo)題句和摘要句長(zhǎng)度分布

2）實(shí)驗(yàn)結(jié)果

本文使用精度A值、準(zhǔn)確率P值、召回率R值以及F值作為測(cè)評(píng)指標(biāo)，衡量模型總體語義區(qū)分能力，最終結(jié)果供模型測(cè)評(píng)使用，計(jì)算公式為

其中，TP表示不相關(guān)類別被正確判斷為不相關(guān)類別的數(shù)量；FN表示不相關(guān)類別被誤判為相關(guān)類別的數(shù)量；TN表示相關(guān)類別被正確判斷為相關(guān)類別的數(shù)量；FP表示相關(guān)類別被誤判為不相關(guān)類別的數(shù)量。

本文將實(shí)驗(yàn)數(shù)據(jù)按照7∶2∶1劃分，分別作為訓(xùn)練集、驗(yàn)證集與測(cè)試集，使用五折交叉法訓(xùn)練模型。首先，使用訓(xùn)練集進(jìn)行預(yù)訓(xùn)練（pre-train）。融合模型在訓(xùn)練標(biāo)題短文本時(shí)耗時(shí)34550 s，ERNIE部分多次在epoch4發(fā)生early stopping；摘要長(zhǎng)文本預(yù)訓(xùn)練共耗時(shí)73595 s，參數(shù)調(diào)整后在RoBERTa部分仍發(fā)生內(nèi)存溢出，這是由于RoBERTa-large-piar預(yù)訓(xùn)練模型過大、摘要長(zhǎng)文本計(jì)算量過大導(dǎo)致服務(wù)器內(nèi)存溢出。在摘要長(zhǎng)文本部分僅使用BERT與ERNIE進(jìn)行模型融合。然后，使用模型預(yù)測(cè)未標(biāo)注的原始數(shù)據(jù)，生成偽標(biāo)簽后，將偽標(biāo)簽數(shù)據(jù)與原始訓(xùn)練集融合、去重后再次進(jìn)行模型訓(xùn)練（re-train）。在標(biāo)題短文本部分訓(xùn)練耗時(shí)93517 s，其中BERT部分多次在epoch5發(fā)生early stopping；在摘要長(zhǎng)文本部分訓(xùn)練耗時(shí)199001 s，同樣在RoBERTa發(fā)生內(nèi)存溢出?；趥螛?biāo)簽的半監(jiān)督學(xué)習(xí)在計(jì)算復(fù)雜度與時(shí)間成本上明顯高于有監(jiān)督學(xué)習(xí)。

驗(yàn)證集用于衡量模型參數(shù)優(yōu)化程度，因此，使用A值與損失函數(shù)值來體現(xiàn)訓(xùn)練集、驗(yàn)證集上的模型效果，使用A、P、R、F值衡量測(cè)試集的模型效果。使用訓(xùn)練集進(jìn)行有監(jiān)督訓(xùn)練的pre-train與使用基于偽標(biāo)簽的半監(jiān)督學(xué)習(xí)的re-train實(shí)驗(yàn)結(jié)果分別如表1和表2所示。

表1 訓(xùn)練集、驗(yàn)證集實(shí)驗(yàn)結(jié)果

由表1可知，實(shí)驗(yàn)過程中模型隨著輪次的增加，loss值逐漸減小并趨于0，精度不斷攀升并趨于1；總體上，基于摘要長(zhǎng)文本的模型效果好于標(biāo)題短文本的模型，使用基于偽標(biāo)簽的半監(jiān)督學(xué)習(xí)效果與僅使用訓(xùn)練集的模型相比略有提升；使用摘要長(zhǎng)文本訓(xùn)練模型的時(shí)間成本遠(yuǎn)遠(yuǎn)高于標(biāo)題短文本。由表2可知，使用半監(jiān)督方法訓(xùn)練模型的效果最好，在標(biāo)題短文本與摘要長(zhǎng)文本上F值分別為96.41%與98.94%，A值優(yōu)于訓(xùn)練集與驗(yàn)證集的表現(xiàn)效果，未出現(xiàn)過擬合的情況。上述實(shí)驗(yàn)結(jié)果表明，本文構(gòu)建的模型可以有效地區(qū)分語義差異較小的句對(duì)的相關(guān)性。

表2 測(cè)試集模型實(shí)驗(yàn)結(jié)果

4.3 結(jié)果分析

使用基于長(zhǎng)文本訓(xùn)練所得的融合模型，計(jì)算項(xiàng)目-成果摘要文本的語義相似度并按升序排序。分析項(xiàng)目-成果相關(guān)性較低數(shù)據(jù)的外部特征與內(nèi)容特征。

1）外部特征分析

對(duì)摘要的文本長(zhǎng)度比（成果/項(xiàng)目）進(jìn)行統(tǒng)計(jì)。結(jié)果如圖8所示。排序靠前、相似度較低部分的長(zhǎng)度比分布的閾值大致為(0,6)；排序靠后、相似度較高部分的文本長(zhǎng)度比分布的閾值大致為(0,3.5)。由此可知，相關(guān)性較低的項(xiàng)目-成果中，存在項(xiàng)目摘要的長(zhǎng)度遠(yuǎn)遠(yuǎn)低于成果摘要的長(zhǎng)度的情況。較短的項(xiàng)目摘要對(duì)自身研究?jī)?nèi)容描述過于宏觀與籠統(tǒng)，所含語義無法與成果內(nèi)容相匹配。

圖8 成果摘要與項(xiàng)目摘要長(zhǎng)度比

統(tǒng)計(jì)科技項(xiàng)目對(duì)應(yīng)成果文獻(xiàn)的數(shù)量。在24036條項(xiàng)目-成果文本數(shù)據(jù)中，以四分位數(shù)為基準(zhǔn)取相似度較低的6009條數(shù)據(jù)，結(jié)果如圖9a所示。其中，占比最多的是6~10個(gè)成果的科技項(xiàng)目，占比最少的單成果的科技項(xiàng)目為259項(xiàng)，僅占4.3%。單成果項(xiàng)目立項(xiàng)時(shí)間分布如圖9b所示，項(xiàng)目多分布在2012—2015年，因此，不存在立項(xiàng)時(shí)間較短、成果發(fā)表周期較長(zhǎng)導(dǎo)致成果較少這一問題。由此可知，在項(xiàng)目-成果相關(guān)程度較低的部分，僅對(duì)應(yīng)一篇成果文獻(xiàn)的項(xiàng)目較少。

圖9 項(xiàng)目立項(xiàng)年份及對(duì)應(yīng)成果文獻(xiàn)數(shù)量分布

對(duì)低相關(guān)數(shù)據(jù)中的項(xiàng)目類型特征進(jìn)行分析。以對(duì)應(yīng)論文型成果數(shù)量少于100的項(xiàng)目類型為主：“創(chuàng)新能力建設(shè)（研發(fā)機(jī)構(gòu)類）”“科技型企業(yè)創(chuàng)業(yè)孵化”“科技型企業(yè)技術(shù)創(chuàng)新”“政策引導(dǎo)類計(jì)劃（國(guó)際科技合作、軟科學(xué)專項(xiàng)）”，在低相關(guān)數(shù)據(jù)中共對(duì)應(yīng)成果59篇，占上述項(xiàng)目總成果178篇的1/3，因此，上述項(xiàng)目在產(chǎn)出論文型成果較少的前提下，仍有1/3的論文與項(xiàng)目相關(guān)程度較低。

2）內(nèi)容特征分析

由表3可知，幾種項(xiàng)目-成果低相關(guān)的典型示例：①成果與科技項(xiàng)目所屬學(xué)科相同、方向相近，但研究?jī)?nèi)容無關(guān)；②成果與科技項(xiàng)目研究領(lǐng)域相近，但實(shí)則屬于中圖法分類號(hào)為G4/G6的教育大類，內(nèi)容圍繞與項(xiàng)目領(lǐng)域相關(guān)的教學(xué)改革、課程設(shè)置、教學(xué)方法、人才培養(yǎng)等方面展開，與項(xiàng)目真實(shí)研究?jī)?nèi)容無關(guān)；③成果為綜述類文獻(xiàn)，雖詳細(xì)介紹了與項(xiàng)目相關(guān)技術(shù)方法的發(fā)展歷程，但未能反應(yīng)出科技項(xiàng)目的核心研究?jī)?nèi)容；④部分成果文獻(xiàn)與項(xiàng)目研究方向與內(nèi)容完全無關(guān)。

表3 低相關(guān)科技項(xiàng)目-成果文獻(xiàn)實(shí)例

此外，模型存在將相關(guān)成果誤判的情況，具體原因如下：①項(xiàng)目-成果摘要的寫作文法差異較大。例如，項(xiàng)目BC201XX22成果摘要“酸甘化陰法肇始于仲景，以酸甘和合異類相使化陰生津，陰復(fù)濡潤(rùn)而不滋……”為古文，而項(xiàng)目摘要“中醫(yī)臨床醫(yī)案采集平臺(tái)大多采用C/S（client/server）模式建設(shè)，軟件升級(jí)更新十分不便……”是白話文。②摘要里非中文字符較多。例如，成果摘要“{cDau(t)+f(t,u(t),v(t))=0,cDav(t)…}”，項(xiàng)目摘要“n維時(shí)標(biāo)上Sobo‐lev空間及定義在該空間上函數(shù)的一些特性……”，模型無法將中文字符的語義與非中文字符的語義匹配。③在科技項(xiàng)目中存在數(shù)量可觀的科技支撐類項(xiàng)目，該類項(xiàng)目主要為科研活動(dòng)提供基礎(chǔ)設(shè)施，如系統(tǒng)、體系、基地或科室的建設(shè)等，因此，摘要通常是對(duì)基礎(chǔ)建設(shè)過程的描述，其成果文獻(xiàn)的研究?jī)?nèi)容與項(xiàng)目相關(guān)但語義上存在較大差異。

3）上述情況的成因分析

①成果文獻(xiàn)的數(shù)量在一定程度上反映了科技項(xiàng)目的研究體量與重要程度，文獻(xiàn)可以從數(shù)量特征層面提升項(xiàng)目的重要性，因此，立項(xiàng)人會(huì)將無關(guān)成果劃入項(xiàng)目產(chǎn)出。②項(xiàng)目未能如期完成，預(yù)計(jì)成果產(chǎn)出與學(xué)術(shù)價(jià)值均未達(dá)標(biāo)，但立項(xiàng)人為通過后評(píng)估，將與項(xiàng)目無關(guān)的其他科研成果用來充數(shù)，用于滿足成果數(shù)量指標(biāo)。③隨著高校近年來對(duì)科研經(jīng)費(fèi)管控力度增強(qiáng)，立項(xiàng)機(jī)構(gòu)對(duì)經(jīng)費(fèi)用途進(jìn)行嚴(yán)格的規(guī)范，論文的出版費(fèi)用是重要的途徑之一，將與項(xiàng)目無關(guān)的論文劃入項(xiàng)目的產(chǎn)出，可解決出版費(fèi)用。④在項(xiàng)目-成果低相關(guān)部分，僅有少部分的單成果項(xiàng)目，而以多成果項(xiàng)目居多。這意味著在多成果項(xiàng)目中，一定數(shù)量的“代表作”已經(jīng)完成了項(xiàng)目額定/核心的研究?jī)?nèi)容，其余成果與項(xiàng)目關(guān)聯(lián)較小。⑤部分成果內(nèi)容與項(xiàng)目相關(guān)性較低，可能由于立項(xiàng)時(shí)間較短、期刊審稿流程與周期較長(zhǎng)，部分相關(guān)成果尚未發(fā)表。⑥部分類型項(xiàng)目產(chǎn)出具有較強(qiáng)的技術(shù)性或知識(shí)產(chǎn)權(quán)敏感，因此，研究成果主要以論文之外的形式呈現(xiàn)，如專利、產(chǎn)品等。⑦基金論文比作為期刊評(píng)估體系中的重要指標(biāo)，影響了期刊的收稿傾向。隨著科技文獻(xiàn)數(shù)量指數(shù)增長(zhǎng)、論文錄用難度加大，立項(xiàng)人為無關(guān)的成果進(jìn)行項(xiàng)目“加冕”可增加論文錄用概率。

5 數(shù)據(jù)準(zhǔn)備與實(shí)驗(yàn)結(jié)果所揭示的科技報(bào)告質(zhì)量監(jiān)管問題

參考科技報(bào)告制度指導(dǎo)意見以及科技報(bào)告質(zhì)量監(jiān)管架構(gòu)（圖10），結(jié)合本文的數(shù)據(jù)準(zhǔn)備與實(shí)驗(yàn)結(jié)果，發(fā)現(xiàn)微觀層面的質(zhì)量保障機(jī)制存在以下問題。

圖10 科技報(bào)告質(zhì)量監(jiān)管架構(gòu)

（1）基礎(chǔ)質(zhì)量層面。現(xiàn)有科技報(bào)告總體質(zhì)量良莠不齊，項(xiàng)目標(biāo)題、摘要的文體、內(nèi)容與字?jǐn)?shù)的規(guī)范性不盡人意。部分報(bào)告摘要開頭著重描述研究背景，部分描述研究目的；部分報(bào)告摘要將主要研究?jī)?nèi)容逐條列出并詳細(xì)闡述；部分報(bào)告摘要將總體研究?jī)?nèi)容一筆帶過，而大篇幅描寫所獲獎(jiǎng)項(xiàng)與培養(yǎng)人才等；部分報(bào)告直接以《江蘇省科技項(xiàng)目報(bào)告》等類似文本作為報(bào)告標(biāo)題；部分報(bào)告以“單位名稱+研究報(bào)告”的格式命名，僅從報(bào)告標(biāo)題無法獲取任何與研究?jī)?nèi)容有關(guān)的語義信息；科技報(bào)告摘要文本長(zhǎng)度從50~1000不等，內(nèi)容密度差異較大。摘要作為總結(jié)性文本，規(guī)范的文體與精準(zhǔn)的內(nèi)容可以大大提升項(xiàng)目評(píng)估與審核的工作效率，同時(shí)也為報(bào)告撰寫人提供了寫作標(biāo)準(zhǔn)。此外，類似學(xué)術(shù)文獻(xiàn)的半結(jié)構(gòu)化的摘要會(huì)蘊(yùn)含更多的語義信息與文本序列位置信息，有助于科技資源共享服務(wù)系統(tǒng)的構(gòu)建與功能的完善。因此，應(yīng)針對(duì)不同類型的項(xiàng)目，完善和細(xì)化科技報(bào)告摘要與全文的寫作標(biāo)準(zhǔn)。

（2）學(xué)術(shù)質(zhì)量方面。科技報(bào)告作為項(xiàng)目與成果的紐帶，主要通過成果文獻(xiàn)來體現(xiàn)其學(xué)術(shù)質(zhì)量，目前存在成果產(chǎn)出與項(xiàng)目預(yù)期內(nèi)容不符、相關(guān)程度較低以及項(xiàng)目產(chǎn)出成果數(shù)量較少等問題，科技報(bào)告并未能如實(shí)地對(duì)所有成果進(jìn)行記錄與描述，而多以與科技項(xiàng)目高度相關(guān)的成果為主?？萍柬?xiàng)目、科技報(bào)告與成果文獻(xiàn)三者的研究?jī)?nèi)容應(yīng)協(xié)調(diào)統(tǒng)一、高度相關(guān)，允許在一定范圍內(nèi)進(jìn)行彈性調(diào)整。同時(shí)，不同類型項(xiàng)目性質(zhì)不同，在后期評(píng)估監(jiān)管時(shí)，應(yīng)根據(jù)項(xiàng)目類型與評(píng)估需求設(shè)定合理的相似度閾值，調(diào)整評(píng)估要求中的成果類型（論文/專利/標(biāo)準(zhǔn)/軟件等）與數(shù)量標(biāo)準(zhǔn)，設(shè)立以“標(biāo)志性成果”為核心的“代表作制度”，保質(zhì)保量提升評(píng)估工作，在總體上加強(qiáng)質(zhì)量層面的監(jiān)管力度。

（3）效益質(zhì)量方面?？萍柬?xiàng)目在一定程度上代表了官產(chǎn)學(xué)研的科技創(chuàng)新與成果轉(zhuǎn)化，因此，多數(shù)科技報(bào)告對(duì)研究的應(yīng)用價(jià)值與技術(shù)價(jià)值進(jìn)行了較好的展現(xiàn)，但由于目前公眾對(duì)科技報(bào)告資源的利用率較低，且社會(huì)價(jià)值具有隱性與長(zhǎng)期性，較難通過科技報(bào)告直接進(jìn)行評(píng)估，因此在科技報(bào)告效益評(píng)估時(shí)應(yīng)綜合考慮成果效益。

6 結(jié)語

本文使用科技報(bào)告對(duì)科技項(xiàng)目信息進(jìn)行補(bǔ)充，通過文本語義匹配的方法對(duì)科技項(xiàng)目及其對(duì)應(yīng)成果文獻(xiàn)的相關(guān)程度進(jìn)行探索，基于小規(guī)模標(biāo)注數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，提出了基于BERT融合模型的項(xiàng)目-成果文本相似度計(jì)算方式，并取得了較好的實(shí)驗(yàn)效果。研究結(jié)果發(fā)現(xiàn)，存在部分成果文獻(xiàn)研究?jī)?nèi)容與項(xiàng)目預(yù)期研究?jī)?nèi)容不符、項(xiàng)目實(shí)際完成質(zhì)量低的現(xiàn)象，這一現(xiàn)象警示人們需要透過量化特征、深入探索內(nèi)容特征，完善科技后評(píng)估制度、加強(qiáng)科技項(xiàng)目監(jiān)管，從而維護(hù)評(píng)審的公正性。此外，科技報(bào)告審核與科技項(xiàng)目后評(píng)估相輔相成，應(yīng)加強(qiáng)科技報(bào)告監(jiān)管力度、完善寫作規(guī)范、細(xì)化審核標(biāo)準(zhǔn)，促進(jìn)科技報(bào)告資源的利用，著力建設(shè)優(yōu)質(zhì)科技資源，全方位提升我國(guó)科技情報(bào)服務(wù)效率。

同時(shí)，本文存在如下局限：①囿于缺少面向中文科技文本的相關(guān)性標(biāo)注數(shù)據(jù)集，本文使用的數(shù)據(jù)規(guī)模有待擴(kuò)展、模型泛化能力有待提升。將在今后使用模型訓(xùn)練的同時(shí)，輔以人工校對(duì)，擴(kuò)充數(shù)據(jù)集。②學(xué)科間跨領(lǐng)域合作較多，成果文獻(xiàn)與科技項(xiàng)目相關(guān)性具有彈性，需要綜合考慮學(xué)科特質(zhì)、參考相似度排序結(jié)果，結(jié)合項(xiàng)目類型、根據(jù)實(shí)際需求，進(jìn)一步設(shè)定不同相關(guān)程度的閾值，完善科技項(xiàng)目后評(píng)估指標(biāo)體系。